恭喜北京郵電大學胡燕祝獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜北京郵電大學申請的專利一種基于融合列空洞卷積的標準內容關鍵詞識別方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114757175B 。
龍圖騰網通過國家知識產權局官網在2025-05-06發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210492445.0,技術領域涉及:G06F40/279;該發明授權一種基于融合列空洞卷積的標準內容關鍵詞識別方法是由胡燕祝;趙興昊;王珂璠;莊育鋒設計研發完成,并于2022-04-29向國家知識產權局提交的專利申請。
本一種基于融合列空洞卷積的標準內容關鍵詞識別方法在說明書摘要公布了:本發明公開了一種基于融合列空洞卷積的《標準》內容關鍵詞識別方法,步驟是:1確定標準內容文本的序列化向量;2提取每個詞的局部特征;3確定詞語上下文權重信息;4得到最終的標注序列條件分布;5優化參數得到最優標注序列。本發明使用列空洞卷積與BiLSTM?Fusion結合的形式,利用列空洞卷積進行局部特征信息提取,有效提高模型對長程依賴的信息提取能力,同時保留了文本的空間信息,為標準內容的關鍵詞提取提供了一種準確率高的提取方法。
本發明授權一種基于融合列空洞卷積的標準內容關鍵詞識別方法在權利要求書中公布了:1.一種基于融合列空洞卷積的標準內容關鍵詞識別方法,其特征在于,包括以下步驟:步驟一:確定標準內容文本的序列化向量Ε:在文本中獲取某句子的表示:X=[x1,x2,…,xn]T;式中,X是句子的向量表示,xi表示該句子文本中的第i個詞,通過將文本X輸入到層進行BERT序列化操作,得到序列化后的文本向量;F=[F1,F2,…,Fn]T;其中F表示句子文本經序列化后的字符數組,Fi表示文本中第i個字的序列化詞;步驟二:提取每個詞的局部特征m:在詞方向形成空洞,構成列空洞卷積,卷積核尺寸為3、空洞率為2的列空洞卷積核如下: 卷積核k∈R3×l,其中第一行和第三行有卷積參數,第二行不參與卷積運算,不做參數更新; F∈Rn×l表示文本輸入矩陣,其為n個詞嵌入文本的二維矩陣,l為詞嵌入維度,選用卷積核k的大小為W×l的空洞卷積核,W為卷積核寬度,l為詞向量的嵌入長度,將卷積按詞拼接方向進行卷積操作;Fo表示卷積核參數與文本嵌入矩陣的元素對應乘積之和,其中卷積核空洞部分不參與計算,WS,r表示尺寸為S、空洞率為r的卷積核的寬度,經過列空洞卷積核處理過后的輸出f[x][y]表示第x個行元素的第y個特征;引入并行卷積層和堆疊池化層,并行卷積層與列空洞卷積為并行運行,其用于原始數據的特征提取;堆疊池化層將并行卷積層于列空洞卷積的特征進行縱向堆疊,將兩方面特征進行融合,最后通過最大池化得到特征信息,即M′=maxM[0][y],M[1][y],…,M[G+1-WS,r][y],1≤y≤l;步驟三:確定詞語上下文權重信息對經過列空洞卷積處理后的維度特征信息與詞嵌入融合得到:Ei=[FiT,M′]T;Ε=[E1,E2,…,En];Ei表示第i個經列空洞卷積與BERT詞嵌入之后的詞向量表示,Ε表示句子的詞向量表示;BiLSTM-fusion在最后輸出層中將BiLSTM輸入與BiLSTM輸出層又做了一次融合;公式如下: 上式為前向LSTM的三個門,即輸入門、遺忘門、輸出門,為后向LSTM的三個門,這六個門可以控制信息流向;在前向LSTM中,隱藏層狀態rt-1對rt的更新有影響,對于后向LSTM,隱藏層狀態lt+1對lt的更新有影響;W為權重矩陣;b為偏置項;σ為sigmoid激活函數;c為狀態變量,其與輸出門共同控制最后的隱藏層狀態;*為哈達瑪積;tanh為雙曲正切函數;為向量的拼接操作,經過BiLSTM-fusion處理之后的具有上下文信息的字符數組為: 步驟四:得到最終的標注序列條件分布Py|x:經過BiLSTM-Fusion得到: 在CRF模型中,標注序列的條件分布概率Py|x有: 和表示標簽對yi-1,yi的狀態轉移矩陣和偏置參數,這些參數能夠不斷被優化;步驟五:優化參數得到最優標注序列Y=y1,y2,…,yn:最后選取極大似然函數L作為目標函數: X是所有訓練樣本,Y是所有標簽的集合,訓練采用Adam優化器;在經過參數調整后,產生最優標注序列,Y=y1,y2,…,yn。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人北京郵電大學,其通訊地址為:100876 北京市海淀區西土城路10號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。