恭喜北京工業大學史宏緯獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜北京工業大學申請的專利基于全局指針網絡的實體關系聯合抽取方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114417839B 。
龍圖騰網通過國家知識產權局官網在2025-03-21發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210060118.8,技術領域涉及:G06F40/253;該發明授權基于全局指針網絡的實體關系聯合抽取方法是由史宏緯;王潔設計研發完成,并于2022-01-19向國家知識產權局提交的專利申請。
本基于全局指針網絡的實體關系聯合抽取方法在說明書摘要公布了:本發明公開了基于全局指針網絡的實體關系聯合抽取方法,通過將實體首尾位置視為一個整體進行判別來解決目標不一致問題。引入了條件層歸一化融合頭實體信息以指導模型捕捉三元組方向特征;并增添了關系分類任務抽取出句子潛在語義關系以過濾掉部分預測錯誤的三元組。本發明在公開數據集CMeIE上的實驗結果表明本發明構建的模型能有效地識別句子中的關系三元組。設計了全局指針網絡,作為解碼器對輸入語句進行關系和尾實體的抽取。全局指針網絡將實體首尾位置視為一個整體進行判別,實現了訓練與預測目標的一致性,增強了實體關系抽取模型的性能,提高模型抽取三元組的精確率。
本發明授權基于全局指針網絡的實體關系聯合抽取方法在權利要求書中公布了:1.基于全局指針網絡的實體關系聯合抽取方法,其特征在于:該方法包括以下步驟:步驟1:對輸入句子進行特征提??;使用NEZHA預訓練語言模型對輸入語句進行全局特征提取,挖掘深層次語義特征,得到上下文信息豐富的編碼向量;步驟2:識別出句子中所有的頭實體;將步驟1得到的編碼向量使用指針網絡分別標注出句子中每個字是否為實體的首尾位置,并采用最近匹配原則,即每個首位置標記向后匹配最近尾位置標記,將首位置標記到尾位置標記所對應子序列識別為頭實體;步驟3:引入條件層歸一化方法融合編碼向量與頭實體特征;將層歸一化結構中對應的偏置和權重設置為頭實體特征的函數,將得到的融合向量作為關系與尾實體抽取的輸入;步驟4:抽取每個頭實體在特定關系下的尾實體;設計了全局指針網絡,根據步驟3輸出的融合向量在每一種預定義關系下,將句子劃分為若干個連續子序列并對子序列打分,根據分數判別出哪些子序列為正確的尾實體;步驟5:模型可能抽取出包含錯誤語義關系的三元組,將編碼向量中具有全局語義信息的[CLS]向量作為句向量,對其關系分類以識別出句子中潛在語義關系并以此過濾掉抽取結果中部分不合理三元組;基于標注策略的方法對實體關系抽取任務進行建模和求解,如式1所示: 其中,h、r、t分別表示三元組的頭實體、關系、尾實體,X表示輸入的句子,Ω表示數據集的所有關系構成的集合;步驟4:在每一個預定義關系下根據融合特征抽取出句子中可能存在的尾實體;設計全局指針網絡將實體首尾位置視作整體進行判別,而不是將實體首尾位置分開標注,從而使得模型更具有全局觀,并實現了模型訓練與預測目標的一致性;全局指針網絡將長度為n的輸入句子視為nn+12個長度不同的連續子序列,表示形式為i,j,其中i表示起始位置,j表示結束位置;對每一個子序列打分,根據分數判別出正確的尾實體;假設數據集中共有m種關系類別,模型將分別在m個關系子空間下對子序列進行判別,將關系和尾實體抽取任務轉換為m個“nn+12選k”的多標簽分類任務,k表示尾實體的數量;首先,全局指針網絡使用了兩個線性層對融合編碼向量H'做線性變換,得到向量序列和其次,為了增強指針網絡對尾實體長度和跨度的敏感性,引入了相對位置編碼RoPE,將滿足的變換矩陣R應用到qa和ka向量中;最后,用和的內積sαi,j,表示從i到j的子序列作為完整尾實體的分數,所有分數大于閾值的子序列都被視為當前頭實體在第α種關系下的尾實體;全局指針網絡標注流程如下所示: 其中,表示訓練參數矩陣,表示偏置向量;對于抽取出的每一個頭實體,重復進行上述關系和尾實體抽取的操作,以抽取出句子中所有可能的三元組;引入CircleLoss,使每一個實體子序列的得分都不小于非實體子序列的得分,最終輸出分數最高的k個子序列;添加了一個s0閾值來確定模塊最終輸出的尾實體數目,使得實體子序列的分數都大于s0,非實體子序列都小于s0,最終輸出所有大于閾值s0的子序列;通過最小化此損失函數訓練模型參數,具體如下所示: 其中,Pα表示當前頭實體在第α種關系下的所有非尾實體子序列,Qα表示當前頭實體在第a種關系下的所有尾實體子序列。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人北京工業大學,其通訊地址為:100124 北京市朝陽區平樂園100號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。