買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中國移動通信集團有限公司研究院;清華大學申請的專利一種模型訓練方法、裝置及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116910205B 。

龍圖騰網通過國家知識產權局官網在2025-05-13發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310752628.6，技術領域涉及：G06F16/3329；該發明授權一種模型訓練方法、裝置及系統是由黃毅;歐智堅;馮俊蘭;蔡予誠;劉紅;金鏑設計研發完成，并于2023-06-25向國家知識產權局提交的專利申請。

本一種模型訓練方法、裝置及系統在說明書摘要公布了：本發明提供了模型訓練方法、裝置及系統，所述方法包括構建待訓練的對話模型，待訓練的對話模型包括生成模型、推斷模型和檢索模型；基于有標注的第一數據對待訓練的對話模型中的推斷模型和檢索模型進行有監督的預訓練，預訓練后的推斷模型用于根據第一數據中的用戶輸入數據和系統回復數據得到隱變量數據，預訓練后的檢索模型用于根據第一數據中的用戶輸入數據從數據庫中檢索得到查詢結果；基于第一數據和無標注的第二數據形成的訓練樣本，對預訓練后的對話模型進行半監督訓練，得到訓練好的對話模型，訓練好的對話模型中生成模型用于生成對話動作數據和系統回復數據。提升了任務型對話任務中模型對于知識的結合能力，更加適用于知識型的任務。

本發明授權一種模型訓練方法、裝置及系統在權利要求書中公布了：1.一種模型訓練方法，其特征在于，所述方法包括：構建待訓練的對話模型，所述待訓練的對話模型包括生成模型、推斷模型和檢索模型；其中，在構建待訓練的對話模型時在任務導向型對話中引入知識型對話建模，建模為隱變量對話模型，通過構建參數為θ以及參數為φ的模型實現，生成模型記為pθgen、推斷模型記為qφ、檢索模型記為pθret；并通過所述檢索模型從數據庫中找出查詢結果；其中，知識型任務對話系統通過一個參數為θ的模型來實現，且把概率分解到每一輪： 其中，pθht,rt|ct,ut用如下公式來實例化，并分解為檢索概率和生成概率：pθht,rt|ct,ut＝pθkbt,at,rt|ct,ut＝pθretkbt|ct,utpθgenat,rt|ct,ut,kbt推斷模型qφht|ct,ut,rt用如下概率分解： 其中條件概率qφh1:T|u1:T,r1:T用以下式子來進行實例化：qφkbt,at|ct,ut,rt為推斷概率；基于有標注的第一數據對所述待訓練的對話模型中的推斷模型和檢索模型進行有監督的預訓練，其中，預訓練后的推斷模型用于根據所述第一數據中的用戶輸入數據和系統回復數據得到隱變量數據，預訓練后的檢索模型用于根據所述第一數據中的用戶輸入數據從數據庫中檢索得到查詢結果；基于所述第一數據和無標注的第二數據形成的訓練樣本，對預訓練后的對話模型進行半監督訓練，得到訓練好的對話模型，其中，所述訓練好的對話模型中所述生成模型用于生成對話動作數據和系統回復數據；在對預訓練后的對話模型進行半監督訓練的過程中，在采用所述第一數據作為訓練樣本的情況下，所述隱變量數據為根據所述第一數據中的查詢結果和對話動作數據拼接而成的第一標簽；生成概率pθat,rt|ct,ut,kbt和所述推斷概率qφkbt,at|ct,ut,rt均按照最大似然的方法進行優化；在對預訓練后的對話模型進行半監督訓練的過程中，在采用所述第二數據作為訓練樣本的情況下，根據按輪迭代的重要性采樣方法對所述隱變量數據進行采樣，將采樣結果確定為第二標簽。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國移動通信集團有限公司研究院;清華大學，其通訊地址為：100033 北京市西城區金融大街28號院1號樓11層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。