華潤(rùn)數(shù)字科技有限公司黃勇其獲國(guó)家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉華潤(rùn)數(shù)字科技有限公司申請(qǐng)的專利基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN113987154B 。
龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202111327839.2,技術(shù)領(lǐng)域涉及:G06F16/3329;該發(fā)明授權(quán)基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備是由黃勇其;王偉;于翠翠;張黔設(shè)計(jì)研發(fā)完成,并于2021-11-10向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備在說(shuō)明書摘要公布了:本申請(qǐng)實(shí)施例屬于人工智能領(lǐng)域,涉及一種基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法,包括將樣本句子輸入到相似句生成模型中,其中,句子編碼層用于對(duì)樣本句子進(jìn)行編碼處理得到稠密向量,所述多頭自注意力結(jié)構(gòu)用于提取所述稠密向量中的關(guān)鍵信息,將所述關(guān)鍵信息與所述稠密向量組成正樣本以計(jì)算對(duì)比損失函數(shù);將所述稠密向量輸入到UniLM模型中,得到輸出句子,計(jì)算所述樣本句子與所述輸出句子之間的文本對(duì)齊損失函數(shù);將所述對(duì)比損失函數(shù)和所述文本對(duì)齊損失函數(shù)相加后,得到總損失函數(shù),并基于梯度下降法計(jì)算所述總損失函數(shù)的最終值,得到訓(xùn)練后的相似句生成模型。采用本方法提高了訓(xùn)練出的模型的準(zhǔn)確率。
本發(fā)明授權(quán)基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備在權(quán)利要求書中公布了:1.一種基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法,其特征在于,所述方法包括:將樣本句子輸入到相似句生成模型中,其中,所述相似句生成模型包括句子編碼層、包括一個(gè)掩碼矩陣的多頭自注意力結(jié)構(gòu),所述句子編碼層用于對(duì)樣本句子進(jìn)行編碼處理得到稠密向量,所述多頭自注意力結(jié)構(gòu)用于提取所述稠密向量中的關(guān)鍵信息,將所述關(guān)鍵信息與所述稠密向量組成正樣本以計(jì)算對(duì)比損失函數(shù);將所述稠密向量輸入到UniLM模型中,得到輸出句子,計(jì)算所述樣本句子與所述輸出句子之間的文本對(duì)齊損失函數(shù);將所述對(duì)比損失函數(shù)和所述文本對(duì)齊損失函數(shù)相加后,得到總損失函數(shù),并基于梯度下降法計(jì)算所述總損失函數(shù)的最終值,得到訓(xùn)練后的相似句生成模型;其中,設(shè)計(jì)關(guān)鍵信息抽取器,并設(shè)計(jì)如下(2)(3)(4)公式: (2); (3); (4);其中,式子(2)計(jì)算Q向量的第i個(gè)分量與所有K分向量的相似值,是向量的維度,lk是輸入句子長(zhǎng)度,式子(3)表示對(duì)所有Q分量進(jìn)行式子(2)的計(jì)算,并按所得值從大到小進(jìn)行排序,并選取前m個(gè)分量,這里的m可自定義,表示保留m個(gè)重要的向量,式子(4)指通過(guò)(2)和(3)兩種方式選取重要的句子向量,與掩碼M相加后,乘以V,得到新的值,即得到新的句子編碼;每一層多頭自注意力結(jié)構(gòu)都對(duì)應(yīng)一個(gè)關(guān)鍵信息抽取器。
如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人華潤(rùn)數(shù)字科技有限公司,其通訊地址為:518000 廣東省深圳市福田區(qū)梅林街道梅都社區(qū)中康路136號(hào)深圳新一代產(chǎn)業(yè)園2棟801;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 洛陽(yáng)方晨智能裝備有限公司馬永奇獲國(guó)家專利權(quán)
- 南京博瑞吉工程技術(shù)有限公司劉其偉獲國(guó)家專利權(quán)
- 冷王公司瑞安·韋恩·舒馬赫獲國(guó)家專利權(quán)
- 中興通訊股份有限公司阮志明獲國(guó)家專利權(quán)
- 東莞泰銘燈萃科技有限公司時(shí)光獲國(guó)家專利權(quán)
- 江蘇昂和農(nóng)業(yè)科技有限公司盧杰獲國(guó)家專利權(quán)
- 馬鞍山市雙益機(jī)械制造有限公司王飛獲國(guó)家專利權(quán)
- 華為技術(shù)有限公司王俊偉獲國(guó)家專利權(quán)
- 深圳東方鍋爐控制有限公司羅輝國(guó)獲國(guó)家專利權(quán)
- 北京華文眾合科技有限公司向大鳳獲國(guó)家專利權(quán)


熱門推薦
- 鋒利刀具制造(深圳)有限公司呂小燕獲國(guó)家專利權(quán)
- 中冶天工集團(tuán)有限公司王海量獲國(guó)家專利權(quán)
- 內(nèi)蒙古拉鎖式新型建材科技有限公司姚井祥獲國(guó)家專利權(quán)
- 深圳市創(chuàng)益通技術(shù)股份有限公司莫金堂獲國(guó)家專利權(quán)
- 中交上海航道勘察設(shè)計(jì)研究院有限公司丁潔獲國(guó)家專利權(quán)
- 深圳市安拓浦科技有限公司楊瑞典獲國(guó)家專利權(quán)
- 武漢大學(xué)陳志文獲國(guó)家專利權(quán)
- 高露潔-棕欖公司納丁·德夫德尼獲國(guó)家專利權(quán)
- 航天晨光股份有限公司楊慧獲國(guó)家專利權(quán)
- 偉創(chuàng)力電子技術(shù)(蘇州)有限公司康健獲國(guó)家專利權(quán)