買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜深圳云天勵(lì)飛技術(shù)股份有限公司申請(qǐng)的專利一種預(yù)訓(xùn)練語言模型的訓(xùn)練、訴求轉(zhuǎn)接方法、裝置和設(shè)備獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114492452B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-01發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111607768.1，技術(shù)領(lǐng)域涉及：G06N3/08；該發(fā)明授權(quán)一種預(yù)訓(xùn)練語言模型的訓(xùn)練、訴求轉(zhuǎn)接方法、裝置和設(shè)備是由李圓法;蟻韓羚;余曉填;王孝宇設(shè)計(jì)研發(fā)完成，并于2021-12-24向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種預(yù)訓(xùn)練語言模型的訓(xùn)練、訴求轉(zhuǎn)接方法、裝置和設(shè)備在說明書摘要公布了：本發(fā)明公開了一種預(yù)訓(xùn)練語言模型的訓(xùn)練、訴求轉(zhuǎn)接方法、裝置和設(shè)備，其中訓(xùn)練方法包括：獲取多組訓(xùn)練樣本；通過預(yù)設(shè)的預(yù)訓(xùn)練語言模型計(jì)算當(dāng)前訓(xùn)練樣本中的兩條訴求信息各自的文本向量；基于文本向量對(duì)訴求信息的類別和類別匹配情況進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)類別和預(yù)測(cè)類別匹配結(jié)果；根據(jù)第一誤差以及第二誤差校正預(yù)設(shè)的預(yù)訓(xùn)練語言模型的模型參數(shù)，第一誤差是預(yù)測(cè)類別和類別標(biāo)簽之間的誤差，第二誤差是預(yù)測(cè)類別匹配結(jié)果和類別匹配標(biāo)簽之間的誤差；當(dāng)預(yù)訓(xùn)練語言模型滿足預(yù)設(shè)的條件時(shí)，輸出預(yù)訓(xùn)練語言模型。本發(fā)明提供的技術(shù)方案，提高了訴求信息的向量表達(dá)準(zhǔn)確度。

本發(fā)明授權(quán)一種預(yù)訓(xùn)練語言模型的訓(xùn)練、訴求轉(zhuǎn)接方法、裝置和設(shè)備在權(quán)利要求書中公布了：1.一種預(yù)訓(xùn)練語言模型的訓(xùn)練方法，其特征在于，所述方法包括：獲取多組訓(xùn)練樣本，所述訓(xùn)練樣本中包括兩條語義相近的訴求信息，以及兩條訴求信息對(duì)應(yīng)的類別標(biāo)簽和類別匹配標(biāo)簽，所述類別匹配標(biāo)簽用于表征兩條訴求信息是否屬于同一類別；通過預(yù)設(shè)的預(yù)訓(xùn)練語言模型計(jì)算當(dāng)前訓(xùn)練樣本中的兩條訴求信息各自的文本向量；基于所述文本向量對(duì)所述訴求信息的類別和類別匹配情況進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)類別和預(yù)測(cè)類別匹配結(jié)果；所述基于所述文本向量對(duì)所述訴求信息的類別和類別匹配情況進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)類別和預(yù)測(cè)類別匹配結(jié)果，包括：將兩個(gè)文本向量分別輸入第一全連接層，計(jì)算兩個(gè)文本向量各自的預(yù)測(cè)類別，所述第一全連接層的參數(shù)通過第一誤差進(jìn)行校正；將兩個(gè)文本向量同時(shí)輸入第二全連接層，計(jì)算兩個(gè)文本向量的預(yù)測(cè)類別匹配結(jié)果，所述第二全連接層的參數(shù)通過第二誤差進(jìn)行校正；根據(jù)第一誤差以及第二誤差校正所述預(yù)設(shè)的預(yù)訓(xùn)練語言模型的模型參數(shù)，所述第一誤差是所述預(yù)測(cè)類別和所述類別標(biāo)簽之間的誤差，所述第二誤差是所述預(yù)測(cè)類別匹配結(jié)果和所述類別匹配標(biāo)簽之間的誤差；當(dāng)所述預(yù)訓(xùn)練語言模型滿足預(yù)設(shè)的條件時(shí)，輸出所述預(yù)訓(xùn)練語言模型。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人深圳云天勵(lì)飛技術(shù)股份有限公司，其通訊地址為：518000 廣東省深圳市龍崗區(qū)園山街道龍崗大道8288號(hào)深圳大運(yùn)軟件小鎮(zhèn)17棟1樓；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。