買(mǎi)專利賣(mài)專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜浙江大學(xué);杭州一知智能科技有限公司申請(qǐng)的專利一種基于對(duì)偶變換的半監(jiān)督手語(yǔ)生成方法、系統(tǒng)和存儲(chǔ)介質(zhì)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114973421B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-21發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210735629.5，技術(shù)領(lǐng)域涉及：G06V40/20；該發(fā)明授權(quán)一種基于對(duì)偶變換的半監(jiān)督手語(yǔ)生成方法、系統(tǒng)和存儲(chǔ)介質(zhì)是由姜偉昊;黃文粲;黃俊杰;趙洲;陳哲乾設(shè)計(jì)研發(fā)完成，并于2022-06-27向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于對(duì)偶變換的半監(jiān)督手語(yǔ)生成方法、系統(tǒng)和存儲(chǔ)介質(zhì)在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于對(duì)偶變換的半監(jiān)督手語(yǔ)生成方法、系統(tǒng)和存儲(chǔ)介質(zhì)，屬于手語(yǔ)生成領(lǐng)域，包括以下步驟：1、使用完整訓(xùn)練數(shù)據(jù)集對(duì)多任務(wù)模型G2P和多模態(tài)模型T2G進(jìn)行監(jiān)督預(yù)訓(xùn)練；2、基于模型G2P和模型T2G任務(wù)的對(duì)偶性，使用缺少標(biāo)注數(shù)據(jù)的訓(xùn)練數(shù)據(jù)集對(duì)多任務(wù)模型G2P和多模態(tài)模型T2G進(jìn)行對(duì)偶變換訓(xùn)練，設(shè)計(jì)多模態(tài)平衡損失來(lái)平衡預(yù)測(cè)結(jié)果更依賴于一種模態(tài)數(shù)據(jù)的傾向性；3、對(duì)模型T2G進(jìn)行知識(shí)蒸餾，將模型T2G中的多模態(tài)知識(shí)遷移至學(xué)生模型t2g中。本發(fā)明首次針對(duì)半監(jiān)督手語(yǔ)生成任務(wù)提出了一種對(duì)偶變換的方法，相比于目前最先進(jìn)的方法實(shí)現(xiàn)了實(shí)質(zhì)性的進(jìn)步。

本發(fā)明授權(quán)一種基于對(duì)偶變換的半監(jiān)督手語(yǔ)生成方法、系統(tǒng)和存儲(chǔ)介質(zhì)在權(quán)利要求書(shū)中公布了：1.一種基于對(duì)偶變換的半監(jiān)督手語(yǔ)生成方法，其特征在于，包括以下步驟：S1：利用第一訓(xùn)練數(shù)據(jù)集對(duì)多任務(wù)模型G2P進(jìn)行監(jiān)督預(yù)訓(xùn)練，在訓(xùn)練過(guò)程中，多任務(wù)模型G2P對(duì)輸入的手語(yǔ)片段同時(shí)生成相應(yīng)的說(shuō)話文本預(yù)測(cè)結(jié)果和手勢(shì)序列預(yù)測(cè)結(jié)果；所述的多任務(wù)模型G2P包括手語(yǔ)片段編碼器、文本解碼器和手勢(shì)序列解碼器；所述的步驟S1包括：將第一訓(xùn)練數(shù)據(jù)集表示為其中，x1，y1，z1分別表示第一訓(xùn)練數(shù)據(jù)集中的說(shuō)話文本、手語(yǔ)片段和手勢(shì)序列；分別表示第一訓(xùn)練數(shù)據(jù)集中第i個(gè)訓(xùn)練樣本中的說(shuō)話文本、手語(yǔ)片段和手勢(shì)序列，N為第一訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本數(shù)；訓(xùn)練過(guò)程中，引入無(wú)監(jiān)督持續(xù)建模機(jī)制來(lái)減小訓(xùn)練過(guò)程中對(duì)手語(yǔ)片段注釋的依賴；首先使用手語(yǔ)片段y1作為輸入，通過(guò)多任務(wù)模型G2P生成說(shuō)話文本預(yù)測(cè)結(jié)果和手勢(shì)序列預(yù)測(cè)結(jié)果接著根據(jù)真實(shí)說(shuō)話文本x1、真實(shí)手勢(shì)序列z1計(jì)算訓(xùn)練損失，最后更新參數(shù)完成對(duì)模型G2P的訓(xùn)練；所述的多任務(wù)模型的訓(xùn)練損失計(jì)算過(guò)程如下： 其中，分別代表生成說(shuō)話文本、手勢(shì)序列的損失，代表模型訓(xùn)練過(guò)程中的無(wú)監(jiān)督持續(xù)建模機(jī)制損失，λd代表權(quán)重因子，MSE為均方差損失，代表目標(biāo)手勢(shì)序列z1總長(zhǎng)度，dt代表預(yù)測(cè)的第t個(gè)手語(yǔ)片段的長(zhǎng)度，θenc表示手語(yǔ)片段編碼器參數(shù)，表示文本解碼器參數(shù)，表示手勢(shì)序列解碼器參數(shù)；S2：以步驟S1得到的說(shuō)話文本預(yù)測(cè)結(jié)果和手勢(shì)序列預(yù)測(cè)結(jié)果作為輸入樣本，以第一訓(xùn)練數(shù)據(jù)集中的真實(shí)手語(yǔ)片段作為標(biāo)簽，對(duì)多模態(tài)模型T2G進(jìn)行監(jiān)督預(yù)訓(xùn)練；所述的多模態(tài)模型T2G包含手勢(shì)序列編碼器、文本編碼器、跨模態(tài)編碼器和多模態(tài)解碼器；所述的步驟S2包括：2.1：通過(guò)手勢(shì)編碼器對(duì)輸入的手勢(shì)序列行編碼，得到手勢(shì)特征hpose；2.2：通過(guò)文本編碼器對(duì)輸入的說(shuō)話文本進(jìn)行編碼，得到文本特征htext；2.3：通過(guò)跨模態(tài)編碼器對(duì)步驟2.1和步驟2.2得到的特征hpose和htext進(jìn)行多模態(tài)特征融合，最終得到包含高層次語(yǔ)義信息的融合手勢(shì)特征h′pose和融合文本特征h′text；計(jì)算過(guò)程如下： 其中，h＝[hpose；htext]表示拼接后的手勢(shì)特征和文本特征，ωq、ωk、ωv為可學(xué)習(xí)參數(shù)，上角標(biāo)T表示轉(zhuǎn)置，h′表示融合后的手勢(shì)特征和文本特征；將最終得到h′分離為融合手勢(shì)特征h′pose和融合文本特征h′text；2.4：通過(guò)多模態(tài)解碼器對(duì)步驟2.3得到的融合手勢(shì)特征h′pose和融合文本特征h′text進(jìn)行模態(tài)平衡處理，得到手語(yǔ)片段第一預(yù)測(cè)結(jié)果和手語(yǔ)片段第二預(yù)測(cè)結(jié)果步驟2.4中所述的多模態(tài)解碼器包括CTC聯(lián)合訓(xùn)練層、跨注意力解耦層、門(mén)控雙向融合層、手語(yǔ)片段預(yù)測(cè)器，具體計(jì)算過(guò)程如下：2.4.1：通過(guò)CTC聯(lián)合訓(xùn)練層對(duì)融合手勢(shì)特征h′pose進(jìn)行手語(yǔ)片段預(yù)測(cè)，得到手語(yǔ)片段第一預(yù)測(cè)結(jié)果2.4.2：通過(guò)跨注意力解耦層對(duì)融合手勢(shì)特征h′pose和融合文本特征h′text分別進(jìn)行基于多頭跨注意力機(jī)制的解耦操作，得到手語(yǔ)片段-手勢(shì)跨注意力特征g′＜t，1和手語(yǔ)片段-文本跨注意力特征g′＜t，2，計(jì)算過(guò)程如下：g′＜t，1＝MultiHeadg＜t，h′pose，h′poseg′＜t，2＝MultiHeadg＜t，h′text，h′text其中，g＜t∈Rt×d為前t個(gè)真實(shí)手語(yǔ)片段的編碼特征；2.4.3：通過(guò)門(mén)控雙向融合層對(duì)步驟2.4.2得到的手語(yǔ)片段-手勢(shì)跨注意力特征g′＜t，1和手語(yǔ)片段-文本跨注意力特征g′＜t，2進(jìn)行特征融合，得到融合特征g′＜t，計(jì)算過(guò)程如下：g′＜t＝g′＜t，1⊙c+g′＜t，2⊙1-cc＝σ[g′＜t，1；g′＜t，2；g＜t]Wc其中，⊙代表哈達(dá)瑪積操作，Wc∈R3d×d為可學(xué)習(xí)參數(shù)，σ代表sigmoid函數(shù)，[.；.；.]代表拼接操作；2.4.4：通過(guò)手語(yǔ)片段預(yù)測(cè)器對(duì)融合特征g′＜t進(jìn)行預(yù)測(cè)，得到手語(yǔ)片段第二預(yù)測(cè)結(jié)果2.5根據(jù)步驟2.4得到的手語(yǔ)片段第二預(yù)測(cè)結(jié)果和手語(yǔ)片段第一預(yù)測(cè)結(jié)果結(jié)合真實(shí)結(jié)果y1計(jì)算訓(xùn)練損失，最后更新參數(shù)完成多模態(tài)模型T2G的訓(xùn)練；S3：利用步驟S2預(yù)訓(xùn)練后的多模態(tài)模型T2G對(duì)第二訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)測(cè)，得到手語(yǔ)片段預(yù)測(cè)結(jié)果；步驟S3中所述的第二訓(xùn)練數(shù)據(jù)集表示為手語(yǔ)片段預(yù)測(cè)結(jié)果為其中，x2，z2分別表示第二訓(xùn)練數(shù)據(jù)集中的說(shuō)話文本和手勢(shì)序列；分別表示第二訓(xùn)練數(shù)據(jù)集中第i個(gè)訓(xùn)練樣本中的說(shuō)話文本和手勢(shì)序列，M為第二訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本數(shù)，表示針對(duì)第二訓(xùn)練數(shù)據(jù)集的手語(yǔ)片段預(yù)測(cè)結(jié)果，表示針對(duì)第二訓(xùn)練數(shù)據(jù)集中第i個(gè)訓(xùn)練樣本的手語(yǔ)片段預(yù)測(cè)結(jié)果；S4：利用第二訓(xùn)練數(shù)據(jù)集和步驟S3得到的手語(yǔ)片段預(yù)測(cè)結(jié)果，對(duì)預(yù)訓(xùn)練后的多任務(wù)模型G2P進(jìn)行訓(xùn)練；S5：利用步驟S4訓(xùn)練好的多任務(wù)模型G2P對(duì)第三訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)測(cè)，得到說(shuō)話文本預(yù)測(cè)結(jié)果和手勢(shì)序列預(yù)測(cè)結(jié)果；步驟S5中所述的第三訓(xùn)練數(shù)據(jù)集表示為其中，y2表示第三訓(xùn)練數(shù)據(jù)集中的手語(yǔ)片段，表示第三訓(xùn)練數(shù)據(jù)集中第i個(gè)手語(yǔ)片段，O為第三訓(xùn)練數(shù)據(jù)集中的訓(xùn)練樣本數(shù)；S6：利用第三訓(xùn)練數(shù)據(jù)集、步驟S5得到的說(shuō)話文本預(yù)測(cè)結(jié)果和手勢(shì)序列預(yù)測(cè)結(jié)果，對(duì)預(yù)訓(xùn)練后的多模態(tài)模型T2G進(jìn)行訓(xùn)練；S7：利用第一訓(xùn)練數(shù)據(jù)集對(duì)步驟S4訓(xùn)練后的多任務(wù)模型G2P和步驟S6訓(xùn)練后的多模態(tài)模型T2G再次進(jìn)行全監(jiān)督訓(xùn)練；S8：將步驟S7訓(xùn)練后的多模態(tài)模型T2G作為教師模型，對(duì)教師模型T2G進(jìn)行知識(shí)蒸餾，將知識(shí)遷移到學(xué)生模型t2g；所述的步驟S8包括：S8-1：通過(guò)步驟S7訓(xùn)練好的多模態(tài)模型T2G對(duì)第二訓(xùn)練數(shù)據(jù)集中的每個(gè)樣本生成K個(gè)最優(yōu)的手語(yǔ)片段預(yù)測(cè)結(jié)果將手語(yǔ)片段預(yù)測(cè)結(jié)果與第二訓(xùn)練數(shù)據(jù)集組合形成新的第二訓(xùn)練數(shù)據(jù)集通過(guò)步驟S7訓(xùn)練好的多任務(wù)模型G2P對(duì)第三訓(xùn)練數(shù)據(jù)集中的每個(gè)樣本生成K個(gè)最優(yōu)的說(shuō)話文本預(yù)測(cè)結(jié)果和手勢(shì)序列預(yù)測(cè)結(jié)果得到新的第三訓(xùn)練數(shù)據(jù)集定義全量數(shù)據(jù)集其中，x，y，z分別表示全量數(shù)據(jù)集中的說(shuō)話文本、手語(yǔ)片段和手勢(shì)序列；S8-2：將步驟S7訓(xùn)練后的多模態(tài)模型T2G作為教師模型，對(duì)教師模型T2G在全量數(shù)據(jù)集S上進(jìn)行知識(shí)蒸餾，計(jì)算知識(shí)蒸餾損失S8-3：將步驟S8-2知識(shí)蒸餾后得到的學(xué)生模型t2g在第一訓(xùn)練數(shù)據(jù)集進(jìn)行監(jiān)督訓(xùn)練，計(jì)算學(xué)生模型訓(xùn)練損失S8-4：計(jì)算總損失： 其中，λ為權(quán)重因子，Qs2syt＝k|yt，x，z；θT2G代表教師模型T2G針對(duì)全量數(shù)據(jù)集中的第t個(gè)手語(yǔ)片段yt通過(guò)端到端解碼的輸出分布，Pt2gyt＝k|yt，x；θt2g為學(xué)生模型t2g的條件概率，代表全量數(shù)據(jù)集中的手語(yǔ)片段數(shù)量，代表第一訓(xùn)練數(shù)據(jù)集，x1，y1分別表示第一訓(xùn)練數(shù)據(jù)集中的說(shuō)話文本和手語(yǔ)片段，θt2g代表學(xué)生模型t2g的參數(shù)，θT2G代表教師模型T2G的參數(shù)；S9：結(jié)合步驟S7訓(xùn)練后的多任務(wù)模型G2P和步驟S8得到的學(xué)生模型t2g，獲得最終的手語(yǔ)生成模型，利用最終的手語(yǔ)生成模型中的學(xué)生模型t2g將說(shuō)活文本翻譯成手語(yǔ)片段，再利用多任務(wù)模型G2P將手語(yǔ)片段生成手語(yǔ)序列。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人浙江大學(xué);杭州一知智能科技有限公司，其通訊地址為：310058 浙江省杭州市西湖區(qū)余杭塘路866號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。