買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜南京大學(xué)申請(qǐng)的專利一種命名實(shí)體識(shí)別模型的訓(xùn)練方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114881031B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210428560.1，技術(shù)領(lǐng)域涉及：G06F40/295；該發(fā)明授權(quán)一種命名實(shí)體識(shí)別模型的訓(xùn)練方法是由黃書劍;李志成;鮑宇;張建兵;戴新宇;陳家駿設(shè)計(jì)研發(fā)完成，并于2022-04-22向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種命名實(shí)體識(shí)別模型的訓(xùn)練方法在說(shuō)明書摘要公布了：本發(fā)明公開(kāi)了一種命名實(shí)體識(shí)別模型的訓(xùn)練方法，利用預(yù)訓(xùn)練好的成分句法分析器，構(gòu)建出輸入文本的成分分析樹(shù)；基于生成規(guī)則，通過(guò)所述成分分析樹(shù)形成關(guān)鍵句法成分候選集合；通過(guò)掩蔽不同的關(guān)鍵句法成分，篩選出所述關(guān)鍵句法成分候選集合中最重要的兩個(gè)關(guān)鍵句法成分；分別掩蔽實(shí)體和最重要的兩個(gè)關(guān)鍵句法成分，得到兩種詞嵌入并引入一種門控機(jī)制對(duì)兩種詞嵌入進(jìn)行融合，形成每個(gè)詞最終的詞嵌入表示；將文本中所述每個(gè)詞最終的詞嵌入表示作為輸入，輸入條件隨機(jī)場(chǎng)中進(jìn)行訓(xùn)練，得到命名實(shí)體識(shí)別模型。本發(fā)明加強(qiáng)了最終詞嵌入的表達(dá)能力；省去標(biāo)注樣本數(shù)據(jù)所需的人力成本；有效減輕整個(gè)句子復(fù)雜語(yǔ)義的影響，簡(jiǎn)化人類閱讀和理解的過(guò)程，可解釋性較強(qiáng)。

本發(fā)明授權(quán)一種命名實(shí)體識(shí)別模型的訓(xùn)練方法在權(quán)利要求書中公布了：1.一種命名實(shí)體識(shí)別模型的訓(xùn)練方法，其特征在于，包括以下步驟：步驟101：利用預(yù)訓(xùn)練好的成分句法分析器，構(gòu)建出輸入文本的成分分析樹(shù)；步驟102：基于生成規(guī)則，通過(guò)所述成分分析樹(shù)形成關(guān)鍵句法成分候選集合；步驟103：通過(guò)掩蔽不同的關(guān)鍵句法成分，篩選出所述關(guān)鍵句法成分候選集合中最重要的兩個(gè)關(guān)鍵句法成分；步驟104：分別掩蔽實(shí)體和最重要的兩個(gè)關(guān)鍵句法成分，得到兩種詞嵌入并引入一種門控機(jī)制對(duì)兩種詞嵌入進(jìn)行融合，形成每個(gè)詞最終的詞嵌入表示；步驟105：將文本中所述每個(gè)詞最終的詞嵌入表示作為輸入，輸入條件隨機(jī)場(chǎng)中進(jìn)行訓(xùn)練，得到命名實(shí)體識(shí)別模型；步驟104中所述“分別掩蔽實(shí)體和最重要的兩個(gè)關(guān)鍵句法成分，得到兩種詞嵌入并引入一種門控機(jī)制對(duì)兩種詞嵌入進(jìn)行融合，形成每個(gè)詞最終的詞嵌入表示”具體包括如下步驟：步驟301：對(duì)文本數(shù)據(jù)中的實(shí)體進(jìn)行掩蔽，即將文本中組成實(shí)體的詞替換為[mask]，并通過(guò)步驟202中所述的編碼器模塊獲取文本中的每個(gè)詞的詞嵌入表示h1；步驟302：對(duì)文本數(shù)據(jù)中的兩個(gè)關(guān)鍵句法成分進(jìn)行掩蔽，即將文本中組成這兩個(gè)關(guān)鍵句法成分的詞替換為[mask]，并通過(guò)步驟202中所述的編碼器模塊獲取文本中的每個(gè)詞的詞嵌入表示h2；步驟303：通過(guò)引入一種門控機(jī)制對(duì)h1和h2進(jìn)行融合，得到文本數(shù)據(jù)中每個(gè)詞的最終詞嵌入表示h，所述門控機(jī)制的計(jì)算公式為：g＝σW1·h1+W2·h2+b，其中σ表示sigmoid函數(shù)，W1和W2表示可訓(xùn)練參數(shù)矩陣，b表示偏置項(xiàng)；表示逐項(xiàng)相乘操作，1表示元素全部為1的高維向量，其維度與h1和h2相同；步驟105中“將文本中每個(gè)詞的詞嵌入表示作為輸入，輸入條件隨機(jī)場(chǎng)中進(jìn)行訓(xùn)練，得到命名實(shí)體識(shí)別模型”，具體包括如下步驟：步驟401：輸入文本中每個(gè)詞語(yǔ)的詞嵌入表示，條件隨機(jī)場(chǎng)進(jìn)行前向計(jì)算，得到文本中每個(gè)詞語(yǔ)被預(yù)測(cè)為各個(gè)實(shí)體類別的分?jǐn)?shù)；步驟402：計(jì)算正確標(biāo)注路徑的分?jǐn)?shù)以及所有可能標(biāo)注路徑的分?jǐn)?shù)，基于最大似然估計(jì)定義模型的預(yù)測(cè)損失函數(shù)，所述預(yù)測(cè)損失函數(shù)公式為：其中，Preal為正確的標(biāo)注序列，Pi為所有可能的標(biāo)注序列，M為文本的字詞數(shù)量，n為預(yù)先定義的實(shí)體類別數(shù)量；步驟403：計(jì)算損失函數(shù)的梯度并反向傳播，更新步驟202中所述的編碼器模塊和條件隨機(jī)場(chǎng)中的參數(shù)，對(duì)模型進(jìn)行訓(xùn)練；步驟404：使用驗(yàn)證集評(píng)估模型的性能，評(píng)估的依據(jù)是計(jì)算驗(yàn)證集上的F1得分，計(jì)算公式為其中P代表準(zhǔn)確率，R代表召回率；步驟405：記錄訓(xùn)練過(guò)程中在驗(yàn)證集上取得最佳效果的模型，將其作為最終訓(xùn)練得到的命名實(shí)體識(shí)別模型。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人南京大學(xué)，其通訊地址為：210000 江蘇省南京市棲霞區(qū)仙林大道163號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。