恭喜同濟大學王堅獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜同濟大學申請的專利基于自學習實體關系聯合抽取的鋼鐵產線設備診斷方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114756687B 。
龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210328908.X,技術領域涉及:G06F16/36;該發明授權基于自學習實體關系聯合抽取的鋼鐵產線設備診斷方法是由王堅;韓慧慧設計研發完成,并于2022-03-30向國家知識產權局提交的專利申請。
本基于自學習實體關系聯合抽取的鋼鐵產線設備診斷方法在說明書摘要公布了:本發明涉及一種基于自學習知識圖譜的鋼鐵產線設備故障診斷方法,包括:獲取鋼鐵產線設備數據并進行預處理;基于編碼器?解碼器結構,構建自學習實體關系聯合抽取模型;采用自學習實體關系聯合抽取模型,從人、信息系統和物理系統中提取人機物三元組數據;根據人機物三元組數據構建鋼鐵產線設備故障自學習知識圖譜,并進行可視化顯示;基于圖神經網絡和強化學習實現鋼鐵產線設備故障知識圖譜進化。與現有技術相比,本發明能夠準確有效地提供更加豐富的故障診斷信息,進而提高故障診斷結果并提供有效的故障解決方案。
本發明授權基于自學習實體關系聯合抽取的鋼鐵產線設備診斷方法在權利要求書中公布了:1.一種基于自學習知識圖譜的鋼鐵產線設備故障診斷方法,其特征在于,包括以下步驟:S1:獲取鋼鐵產線設備數據;S2:構建自學習實體關系聯合抽取模型,首先對鋼鐵產線設備數據中的實體關系進行標注,然后通過編碼器層將每個標注的標記轉換為向量表示,通過解碼器層從向量表示中解碼出關系和實體,提取三元組;并通過聯合訓練的方式,對編碼器層和解碼器層進行訓練;S3:采用所述自學習實體關系聯合抽取模型,從人、信息系統和物理系統中提取人機物三元組數據;S4:根據人機物三元組數據構建鋼鐵產線設備故障知識圖譜,并進行可視化顯示;步驟S2具體包括以下子步驟:S21:運用翻譯模型將鋼鐵產線設備數據中的中文句子翻譯為英文句子,采用BIEOS標注方案對句子中的實體關系進行標注;S22:構建編碼器層,該編碼器層包括嵌入層和上下文詞表征層,所述嵌入層采用BERT預訓練語言模型作為共享特征編碼來建模,將單詞的上下文轉換為向量表示,使用CNN對數據的字符特征進行提取;所述上下文詞表征層引入帶有空洞卷積的BiLSTM捕獲上下文信息;S23:構建解碼器層,該解碼器層包括命名實體識別模塊和多關系分類器,所述命名實體識別模塊用于檢測在文本中存在關系的實體,所述多關系分類器用于識別文本中包含的關系類型,所述解碼器層根據識別出的實體和關系進行聯合提取;S24:采用聯合訓練方式訓練多關系分類器和命名實體識別模塊;步驟S22具體包括以下子步驟:S221:給定一個由n個單詞組成的句子其中,wt表示長度為n的句子中的第t個單詞,采用BERT預訓練語言模型作為共享特征編碼將句子中的每個標記轉換為向量表示,通過詞嵌入層來表達其語義和語法含義,得到v=[v1,v2,…,bn],其中,bt∈Rd表示嵌入到句子中第t個詞的d維詞向量;嵌入層隨機初始化嵌入矩陣,并隨著模型的訓練更新權重參數;S222:采用CNN對數據的字符級表征進行提取,提取表達式為: 單詞的最終表示是單詞級和字符級表示的連接,單詞的最終表示的表達式為: 式中,X∈Rn*dw,dw是標注嵌入維度,vt是單詞wt的詞嵌入,是wt的基于字符的表示;S223:引入帶有空洞卷積的BiLSTM作為上下文詞表征層用于有效捕獲上下文信息;所述BiLSTM編碼層中的LSTM記憶塊用于根據前一個隱藏向量ht-1、前一個單元向量ct-1和當前輸入詞嵌入xt計算當前隱藏向量ht;所述BiLSTM的前向LSTM層將輸入序列從x1編碼到xn,后向LSTM層將輸入序列從xn編碼到x1;然后我們連接和并表示單詞的最終編碼信息最終的句子表示為將3層空洞卷積輸出的語義單元表示與Bi-LSTM輸出的單詞語義信息結合起來作為編碼器的輸出,每個時間步生成的向量表達式為:mt=[ht;gt]式中,ht是Bi-LSTM在時間步t生成的向量,gt是空洞卷積在第t個詞處提取的語義單元信息的向量;最終得到句子表示步驟S23具體包括以下子步驟:S231:將實體提取視為序列標記任務,檢測所有可能在文本中存在關系的實體,為每個單詞分配一個實體標簽,實現初步的實體提取;使用CRF進行聯合解碼,將作為輸入序列分數,該輸入序列分數從位置感知語句表示mt生成,zt的生成表達式為:zt=Wumt其中,是第t個單詞的標簽分數,Nt是不同標簽的數量;將Zt,j視為第j個標簽在位置t的得分,對于標簽序列將解碼分數定義為: 其中,A是轉移矩陣,Ai,j表示從標簽i到標簽j的轉移分數;所有可能的標簽序列y的條件概率的表達式為: 式中,Yz表示Z的可能標簽序列集;解碼器在訓練過程中,最大化訓練集{Zi,yi}上正確標簽序列的對數似然,該對數似然的計算表達式為: 解碼是搜索獲得最大分數的標簽序列,解碼的計算表達式為: 設置軟標簽嵌入,以logits作為輸入來保留每個實體類型的概率,假設N是logits維度,即實體類型的數量,y是標簽嵌入矩陣,則第t個單詞的軟標簽嵌入定義為: 得到最終的軟標簽嵌入通過學習軟標簽嵌入;S232:將關系預測任務視為多標簽分類任務,使用分類器鏈進行關系預測,將編碼器層的輸出向量M和NER中的軟標簽嵌入H融合起來構造關系層δ=NormConcatH,M其中,Concat表示連接運算符,Norm表示歸一化操作;應用卷積操作和最大池化操作:β=Convδρ=relumaxβ其中,β∈Rm×n-l+1是卷積運算輸出的特征,m是濾波器的數量,n是文本的長度,l是卷積濾波器的大小;首先對特征β應用最大池化運算,然后使用relu激活獲得文本嵌入ρ∈Rm,將文本嵌入視為文本的局部特征向量;第j個關系類型的二元分類器的表達式為: 其中,是一個可學習的權重矩陣,是權重矩陣;隱藏層狀態Rj被視為第j個關系類型的關系嵌入;如果文本包含第j個關系類型,Rj將被喂給可變長度實體對預測器以幫助實體對識別;在分類器鏈中,任務轉化為m個標簽分類任務,其中,第一個分類器的輸入向量為第二個分類器的輸入向量是δ和第一個分類器的輸出向量oc1的連接,以此類推;第m個分類器的輸入向量為:pcm=[δ;oc1;…;ocm-1]S233:進行實體關系的聯合提取,選擇兩個實體作為目標實體對,并將目標關系分配給實體對,這樣它們就可以形成一個三元組;使用注意力模型來執行實體和關系的聯合提取,所述注意力模型的表達式為: α=sofmaxβi 其中,oci表示第i目標關系分類器輸出向量,Gt-1表示在時間步t-1實體預測時的全局嵌入向量,mi表示編碼層產生的上下文向量;表示第i個關系的標注序列;α表示注意力權重,表示上下文向量;最后通過sofmax函數得到對應第i個關系的標簽序列
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人同濟大學,其通訊地址為:200092 上海市楊浦區四平路1239號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。