買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜河海大學申請的專利基于門控機制和圖注意力網絡的中文實體關系抽取方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114722820B 。

龍圖騰網通過國家知識產權局官網在2025-05-30發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210281501.6，技術領域涉及：G06F40/295；該發明授權基于門控機制和圖注意力網絡的中文實體關系抽取方法是由戚榮志;趙小涵;李水艷;毛鶯池;黃倩;高逸飛;陳子琦設計研發完成，并于2022-03-21向國家知識產權局提交的專利申請。

本基于門控機制和圖注意力網絡的中文實體關系抽取方法在說明書摘要公布了：本發明公開了一種基于門控機制和圖注意力網絡的中文實體關系抽取方法，首先，使用中文BERT預訓練模型將文本轉換為機器可以識別的向量形式；其次，將實體嵌入拼接到每個詞嵌入后面，采用一種全局信息門控機制，計算門控向量，實現詞嵌入的實體語義強化；然后，對文本進行依存句法分析，獲得依存句法樹，構造出鄰接矩陣、依賴類型矩陣和依賴方向矩陣，使用掩碼自注意力求得注意力權重矩陣，進而在圖注意力網絡中對文本進行特征提取；最后，從圖注意力網絡的輸出中，獲取兩個實體和句子的表征向量，經過多層感知機將該向量轉換到分類空間，輸入至分類器中完成關系分類。

本發明授權基于門控機制和圖注意力網絡的中文實體關系抽取方法在權利要求書中公布了：1.一種基于門控機制和圖注意力網絡的中文實體關系抽取方法，其特征在于，包含以下步驟：步驟1使用中文BERT預訓練模型將文本轉換為機器可以識別的向量形式；步驟2將實體嵌入拼接到每個詞嵌入后面，采用一種全局信息門控機制，計算門控向量，實現詞嵌入的實體語義強化；步驟3對文本進行依存句法分析，獲得依存句法樹，構造出鄰接矩陣、依賴類型矩陣和依賴方向矩陣，使用掩碼自注意力求得注意力權重矩陣，進而在圖注意力網絡中對文本句子進行特征提取；步驟4從圖注意力網絡的輸出中，獲取兩個實體和句子的表征向量，經過多層感知機將該表征向量轉換到分類空間，輸入至分類器中完成關系分類；所述步驟2中詞嵌入的實體語義強化指的是對于BERT模型轉換得到的詞嵌入進行實體語義增強，具體包含以下步驟：2-1將頭實體和尾實體的嵌入表示拼接，然后使用一個前饋網絡將兩個實體的語義信息進行融合，其過程公式化為：ve＝tanhWe[vh,vt]+be其中，vh和vt分別對應頭尾實體的詞嵌入，是可學習的參數矩陣，用于拼接實體嵌入的線性轉換，是一個偏置項，tanh為雙曲正切函數，ve是融合了頭尾實體信息的實體嵌入；2-2將該融合后的實體嵌入與句子中每個詞語的詞向量進行拼接，初步得到實體嵌入增強的候選詞向量；同時，將這些候選詞向量加和求平均，獲得融合全局信息和實體嵌入的監督向量s，以上過程可以表示為： 其中，表示第i個詞語的候選詞向量，n為句子s中詞語的數量；2-3以監督向量與候選詞向量為輸入，輸出每個候選詞向量所對應的門控向量： 其中，是一個需要訓練的參數矩陣，dg＝dw+de是偏置項，運算符⊙表示將兩端向量按元素相乘，sigmoid函數輸出范圍為0,1；2-4計算第i個詞語在經過實體嵌入增強后的詞嵌入表示將該詞語的候選詞向量與對應的門控向量按元素相乘，其計算過程如下式： 所述步驟3中根據句子的依存句法樹構造出鄰接矩陣、依賴類型矩陣和依賴方向矩陣，采用掩碼自注意力機制計算注意力轉移權重，進而在圖注意力網絡中對文本進行特征提取，具體步驟，包括：3-1根據句子的依存句法樹構造鄰接矩陣A，設依存句法樹上有n個結點，那么可以使用一個n×n的鄰接矩陣A來表示該依存句法樹；當結點i和結點j之間存在依賴邊時，A中元素ai,j和aj,i為1，否則為0，此時A是一個無向圖；特別地，依存樹轉換的鄰接矩陣中，每個結點都有一個自旋邊，即ai,i＝1；根據依存句法樹的提供的依賴類型和依賴方向信息，構造依賴類型矩陣T和依賴方向矩陣D的構造方式；依賴類型矩陣T大小為n×n，若結點i和結點j的依賴類型為nsubj，則T中元素ti,j的值為type_to_id_mappingnsubj，type_to_id_mapping表示依賴類型到數值的映射；依賴方向矩陣D大小同樣為n×n，若存在依賴邊i→j，則元素di,j＝1表示該依賴邊是正向的，反之dj,i＝-1表示依賴邊是反向的；3-2圖注意力網絡采用了一種掩碼自注意力機制，在每一層計算一個全新的信息傳遞的注意力權重矩陣，該權重矩陣不僅完全保留了原始依存句法樹的結構信息，而且賦予了依賴邊不同的權重；實體嵌入增強后的詞向量序列為同時是圖注意力網絡的初始輸入符號表示第i個詞語在l層的隱層向量；在一個L層的圖注意力網絡中，第l層會使用掩碼自注意力計算得到一個n×n鄰接矩陣Pl，表示結點i和結點j之間依賴邊的權重，其計算過程如下式： 其中，ai,j表示原始的鄰接矩陣中的權重，它只有0，1兩種取值，當ai,j＝0時，對應自注意力計算得到的當ai,j＝1時，表示依賴類型ti,j所對應依賴類型的嵌入向量，fun·是一個注意力函數，用于計算兩個節點間依賴邊的重要程度值，即ei,j，該注意力函數的具體細節如下式所示： 其中，LeakyRelu是激活函數，[·]表示向量的拼接操作，fdi,j表示一個與依賴邊方向相關的函數，若依賴邊i→j是正向的則使用正向的參數矩陣，否則使用反向的參數矩陣，細節下所示： 其中，分別對應正向和反向可學習的權重矩陣；3-3結合本層的注意力權重矩陣和網絡輸入，計算圖注意力網絡中每個結點的隱層向量，其過程如下式表示： 其中，Wl表示第l層圖注意力網絡的可學習權重矩陣，bl是偏置項。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人河海大學，其通訊地址為：211100 江蘇省南京市江寧開發區佛城西路8號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。