買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網獲悉華潤數字科技有限公司申請的專利基于UniLM與對比學習的相似句生成模型訓練方法及相關設備獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN113987154B 。

龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202111327839.2，技術領域涉及：G06F16/3329；該發明授權基于UniLM與對比學習的相似句生成模型訓練方法及相關設備是由黃勇其;王偉;于翠翠;張黔設計研發完成，并于2021-11-10向國家知識產權局提交的專利申請。

本基于UniLM與對比學習的相似句生成模型訓練方法及相關設備在說明書摘要公布了：本申請實施例屬于人工智能領域，涉及一種基于UniLM與對比學習的相似句生成模型訓練方法，包括將樣本句子輸入到相似句生成模型中，其中，句子編碼層用于對樣本句子進行編碼處理得到稠密向量，所述多頭自注意力結構用于提取所述稠密向量中的關鍵信息，將所述關鍵信息與所述稠密向量組成正樣本以計算對比損失函數；將所述稠密向量輸入到UniLM模型中，得到輸出句子，計算所述樣本句子與所述輸出句子之間的文本對齊損失函數；將所述對比損失函數和所述文本對齊損失函數相加后，得到總損失函數，并基于梯度下降法計算所述總損失函數的最終值，得到訓練后的相似句生成模型。采用本方法提高了訓練出的模型的準確率。

本發明授權基于UniLM與對比學習的相似句生成模型訓練方法及相關設備在權利要求書中公布了：1.一種基于UniLM與對比學習的相似句生成模型訓練方法，其特征在于，所述方法包括：將樣本句子輸入到相似句生成模型中，其中，所述相似句生成模型包括句子編碼層、包括一個掩碼矩陣的多頭自注意力結構，所述句子編碼層用于對樣本句子進行編碼處理得到稠密向量，所述多頭自注意力結構用于提取所述稠密向量中的關鍵信息，將所述關鍵信息與所述稠密向量組成正樣本以計算對比損失函數；將所述稠密向量輸入到UniLM模型中，得到輸出句子，計算所述樣本句子與所述輸出句子之間的文本對齊損失函數；將所述對比損失函數和所述文本對齊損失函數相加后，得到總損失函數，并基于梯度下降法計算所述總損失函數的最終值，得到訓練后的相似句生成模型；其中，設計關鍵信息抽取器，并設計如下（2）（3）（4）公式： （2）； （3）； （4）；其中，式子（2）計算Q向量的第i個分量與所有K分向量的相似值，是向量的維度，lk是輸入句子長度，式子（3）表示對所有Q分量進行式子（2）的計算，并按所得值從大到小進行排序，并選取前m個分量，這里的m可自定義，表示保留m個重要的向量，式子（4）指通過（2）和（3）兩種方式選取重要的句子向量，與掩碼M相加后，乘以V，得到新的值，即得到新的句子編碼；每一層多頭自注意力結構都對應一個關鍵信息抽取器。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人華潤數字科技有限公司，其通訊地址為：518000 廣東省深圳市福田區梅林街道梅都社區中康路136號深圳新一代產業園2棟801；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。