買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉華潤(rùn)數(shù)字科技有限公司申請(qǐng)的專利基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN113987154B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111327839.2，技術(shù)領(lǐng)域涉及：G06F16/3329；該發(fā)明授權(quán)基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備是由黃勇其;王偉;于翠翠;張黔設(shè)計(jì)研發(fā)完成，并于2021-11-10向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備在說(shuō)明書摘要公布了：本申請(qǐng)實(shí)施例屬于人工智能領(lǐng)域，涉及一種基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法，包括將樣本句子輸入到相似句生成模型中，其中，句子編碼層用于對(duì)樣本句子進(jìn)行編碼處理得到稠密向量，所述多頭自注意力結(jié)構(gòu)用于提取所述稠密向量中的關(guān)鍵信息，將所述關(guān)鍵信息與所述稠密向量組成正樣本以計(jì)算對(duì)比損失函數(shù)；將所述稠密向量輸入到UniLM模型中，得到輸出句子，計(jì)算所述樣本句子與所述輸出句子之間的文本對(duì)齊損失函數(shù)；將所述對(duì)比損失函數(shù)和所述文本對(duì)齊損失函數(shù)相加后，得到總損失函數(shù)，并基于梯度下降法計(jì)算所述總損失函數(shù)的最終值，得到訓(xùn)練后的相似句生成模型。采用本方法提高了訓(xùn)練出的模型的準(zhǔn)確率。

本發(fā)明授權(quán)基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法及相關(guān)設(shè)備在權(quán)利要求書中公布了：1.一種基于UniLM與對(duì)比學(xué)習(xí)的相似句生成模型訓(xùn)練方法，其特征在于，所述方法包括：將樣本句子輸入到相似句生成模型中，其中，所述相似句生成模型包括句子編碼層、包括一個(gè)掩碼矩陣的多頭自注意力結(jié)構(gòu)，所述句子編碼層用于對(duì)樣本句子進(jìn)行編碼處理得到稠密向量，所述多頭自注意力結(jié)構(gòu)用于提取所述稠密向量中的關(guān)鍵信息，將所述關(guān)鍵信息與所述稠密向量組成正樣本以計(jì)算對(duì)比損失函數(shù)；將所述稠密向量輸入到UniLM模型中，得到輸出句子，計(jì)算所述樣本句子與所述輸出句子之間的文本對(duì)齊損失函數(shù)；將所述對(duì)比損失函數(shù)和所述文本對(duì)齊損失函數(shù)相加后，得到總損失函數(shù)，并基于梯度下降法計(jì)算所述總損失函數(shù)的最終值，得到訓(xùn)練后的相似句生成模型；其中，設(shè)計(jì)關(guān)鍵信息抽取器，并設(shè)計(jì)如下（2）（3）（4）公式： （2）； （3）； （4）；其中，式子（2）計(jì)算Q向量的第i個(gè)分量與所有K分向量的相似值，是向量的維度，lk是輸入句子長(zhǎng)度，式子（3）表示對(duì)所有Q分量進(jìn)行式子（2）的計(jì)算，并按所得值從大到小進(jìn)行排序，并選取前m個(gè)分量，這里的m可自定義，表示保留m個(gè)重要的向量，式子（4）指通過(guò)（2）和（3）兩種方式選取重要的句子向量，與掩碼M相加后，乘以V，得到新的值，即得到新的句子編碼；每一層多頭自注意力結(jié)構(gòu)都對(duì)應(yīng)一個(gè)關(guān)鍵信息抽取器。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人華潤(rùn)數(shù)字科技有限公司，其通訊地址為：518000 廣東省深圳市福田區(qū)梅林街道梅都社區(qū)中康路136號(hào)深圳新一代產(chǎn)業(yè)園2棟801；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。