買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜平安科技(深圳)有限公司申請(qǐng)的專(zhuān)利基于多教師模型的模型蒸餾方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114386604B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-27發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202210044224.7，技術(shù)領(lǐng)域涉及：G06N3/045；該發(fā)明授權(quán)基于多教師模型的模型蒸餾方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)是由王健宗;李澤遠(yuǎn)設(shè)計(jì)研發(fā)完成，并于2022-01-14向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本基于多教師模型的模型蒸餾方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)在說(shuō)明書(shū)摘要公布了：本申請(qǐng)涉及人工智能領(lǐng)域，尤其涉及基于多教師模型的模型蒸餾方法，所述方法包括：獲取訓(xùn)練樣本數(shù)據(jù)及對(duì)應(yīng)的硬標(biāo)簽，通過(guò)多個(gè)教師和第一學(xué)生模型對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行識(shí)別，得到多個(gè)第一軟標(biāo)簽和第二軟標(biāo)簽；根據(jù)硬標(biāo)簽、多個(gè)第一軟標(biāo)簽和第二軟標(biāo)簽，對(duì)第一學(xué)生模型進(jìn)行知識(shí)蒸餾學(xué)習(xí)，生成第二學(xué)生模型并通過(guò)第二學(xué)生模型得到第三軟標(biāo)簽；根據(jù)第一軟標(biāo)簽和第三軟標(biāo)簽更新教師模型選擇策略，得到更新后的教師模型選擇策略，基于更新后的教師模型選擇策略重新確定對(duì)應(yīng)的教師模型，并根據(jù)重新確定的教師模型對(duì)第一學(xué)生模型進(jìn)行知識(shí)蒸餾學(xué)習(xí)，直至第一學(xué)生模型收斂，得到目標(biāo)學(xué)生模型。由此能夠使蒸餾得到的學(xué)生模型表現(xiàn)達(dá)到最佳，提高用戶(hù)體驗(yàn)。

本發(fā)明授權(quán)基于多教師模型的模型蒸餾方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)在權(quán)利要求書(shū)中公布了：1.一種基于多教師模型的模型蒸餾方法，其特征在于，所述方法包括：獲取訓(xùn)練樣本數(shù)據(jù)和所述訓(xùn)練樣本數(shù)據(jù)對(duì)應(yīng)的硬標(biāo)簽，通過(guò)多個(gè)教師模型對(duì)所述訓(xùn)練樣本數(shù)據(jù)進(jìn)行識(shí)別，得到多個(gè)第一軟標(biāo)簽，以及通過(guò)第一學(xué)生模型對(duì)所述訓(xùn)練樣本數(shù)據(jù)進(jìn)行識(shí)別，得到第二軟標(biāo)簽，所述訓(xùn)練樣本數(shù)據(jù)為句子對(duì)或圖片；根據(jù)所述硬標(biāo)簽、所述多個(gè)第一軟標(biāo)簽和所述第二軟標(biāo)簽，對(duì)所述第一學(xué)生模型進(jìn)行知識(shí)蒸餾學(xué)習(xí)，生成第二學(xué)生模型；其中，所述第一學(xué)生模型的模型參數(shù)和所述第二學(xué)生模型的模型參數(shù)不同；通過(guò)所述第二學(xué)生模型對(duì)所述訓(xùn)練樣本數(shù)據(jù)進(jìn)行識(shí)別，得到第三軟標(biāo)簽；根據(jù)所述硬標(biāo)簽、所述第一軟標(biāo)簽和所述第三軟標(biāo)簽更新教師模型選擇策略，得到更新后的教師模型選擇策略，所述教師模型選擇策略用于選擇教師模型；基于所述更新后的教師模型選擇策略重新確定對(duì)應(yīng)的教師模型，并根據(jù)所述重新確定的教師模型對(duì)所述第一學(xué)生模型進(jìn)行知識(shí)蒸餾學(xué)習(xí)，直至所述第一學(xué)生模型收斂，得到目標(biāo)學(xué)生模型；所述根據(jù)所述硬標(biāo)簽、所述多個(gè)第一軟標(biāo)簽和所述第二軟標(biāo)簽，對(duì)所述第一學(xué)生模型進(jìn)行知識(shí)蒸餾學(xué)習(xí)，生成第二學(xué)生模型，包括：根據(jù)所述多個(gè)第一軟標(biāo)簽和所述第二軟標(biāo)簽確定第一偏差值；根據(jù)所述硬標(biāo)簽和所述第二軟標(biāo)簽確定第二偏差值；根據(jù)所述第一偏差值和所述第二偏差值確定第三偏差值，并根據(jù)所述第三偏差值對(duì)所述第一學(xué)生模型的模型參數(shù)進(jìn)行初始化處理，生成第二學(xué)生模型；所述根據(jù)所述硬標(biāo)簽、所述第一軟標(biāo)簽和所述第三軟標(biāo)簽更新教師模型選擇策略，得到更新后的教師模型選擇策略，包括：根據(jù)所述硬標(biāo)簽和所述第三軟標(biāo)簽確定第四偏差值；根據(jù)多個(gè)所述第一軟標(biāo)簽和所述第四偏差值生成每個(gè)所述教師模型對(duì)應(yīng)的狀態(tài)向量參數(shù)；根據(jù)每個(gè)所述教師模型對(duì)應(yīng)的狀態(tài)向量參數(shù)確定更新策略；基于所述更新策略對(duì)所述教師模型選擇策略進(jìn)行更新，得到更新后的教師模型選擇策略。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人平安科技(深圳)有限公司，其通訊地址為：518057 廣東省深圳市福田區(qū)福田街道福安社區(qū)益田路5033號(hào)平安金融中心23樓；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。