買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜浙江大學(xué)金華研究院申請(qǐng)的專利基于音頻驅(qū)動(dòng)的人臉對(duì)話生成模型的人臉視頻生成方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119028369B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-06-17發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411029024.X，技術(shù)領(lǐng)域涉及：G10L21/10；該發(fā)明授權(quán)基于音頻驅(qū)動(dòng)的人臉對(duì)話生成模型的人臉視頻生成方法是由鄭雨婷;徐新民;胡哲昊;張琪;鄭樂(lè);陳甜甜設(shè)計(jì)研發(fā)完成，并于2024-07-30向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于音頻驅(qū)動(dòng)的人臉對(duì)話生成模型的人臉視頻生成方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于音頻驅(qū)動(dòng)的人臉對(duì)話生成模型的人臉視頻生成方法。方法包括：建立唇音同步判別網(wǎng)絡(luò)和基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)；使用唇音同步訓(xùn)練集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，根據(jù)唇音同步判別網(wǎng)絡(luò)的判別損失函數(shù)構(gòu)建基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)的整體損失函數(shù)，直至整體損失函數(shù)收斂完成訓(xùn)練；根據(jù)待回復(fù)文字或音頻獲得回復(fù)音頻；將回復(fù)音頻以及待生成人物的人臉圖像輸入訓(xùn)練完成的網(wǎng)絡(luò)中，輸出當(dāng)前人物在讀取當(dāng)前回復(fù)音頻時(shí)的人臉視頻，最終在顯示器上顯示。本發(fā)明方法有效改善了唇形生成的同步效果和整體人臉的圖像質(zhì)量，并能夠與客戶進(jìn)行對(duì)話，旨在生成具有自然頭部運(yùn)動(dòng)、唇音同步效果良好的真實(shí)人臉視頻。

本發(fā)明授權(quán)基于音頻驅(qū)動(dòng)的人臉對(duì)話生成模型的人臉視頻生成方法在權(quán)利要求書(shū)中公布了：1.一種基于音頻驅(qū)動(dòng)的人臉對(duì)話生成模型的人臉視頻生成方法，其特征在于，包括： S1建立唇音同步判別網(wǎng)絡(luò)和基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW； S2采集若干人物在說(shuō)話時(shí)的視頻并將每個(gè)視頻劃分為人物音頻以及連續(xù)幀的人臉圖像，將各組人物音頻以及連續(xù)幀的人臉圖像共同構(gòu)建為唇音同步訓(xùn)練集； S3將唇音同步訓(xùn)練集輸入唇音同步判別網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，直至唇音同步判別網(wǎng)絡(luò)的判別損失函數(shù)收斂，獲得訓(xùn)練完成的唇音同步判別網(wǎng)絡(luò)； S4將唇音同步訓(xùn)練集輸入基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW中進(jìn)行訓(xùn)練，基于判別損失函數(shù)構(gòu)建基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW的整體損失函數(shù)，獲得基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW的整體損失值并使用梯度下降法更新網(wǎng)絡(luò)參數(shù)，直至整體損失函數(shù)的損失值收斂，獲得訓(xùn)練完成的基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW； S5將待回復(fù)文字或音頻輸入對(duì)話系統(tǒng)中，針對(duì)每段待回復(fù)文字或音頻，對(duì)話系統(tǒng)處理后輸出待回復(fù)文字或音頻的回復(fù)文字，并將回復(fù)文字轉(zhuǎn)換為回復(fù)音頻；將回復(fù)音頻以及待生成人物的人臉圖像輸入訓(xùn)練完成的基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW中，訓(xùn)練完成的基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW處理后輸出當(dāng)前人物在讀取當(dāng)前回復(fù)音頻時(shí)的人臉視頻，最終在顯示器上顯示，實(shí)現(xiàn)人臉視頻的生成； 所述的步驟S1中，基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW包括依次連接的人臉生成器和視頻質(zhì)量判別器，將唇音同步訓(xùn)練集輸入人臉生成器中，人臉生成器處理后輸出生成的人臉視頻，將生成的人臉視頻以及真實(shí)的人臉視頻共同輸入視頻質(zhì)量判別器中，獲得視頻質(zhì)量判別器的對(duì)抗損失函數(shù)和質(zhì)量評(píng)估損失函數(shù)，當(dāng)視頻質(zhì)量判別器的對(duì)抗損失函數(shù)收斂時(shí)，視頻質(zhì)量判別器訓(xùn)練完成；根據(jù)生成的人臉視頻以及真實(shí)的人臉視頻獲得重構(gòu)損失函數(shù)，最終根據(jù)唇音同步判別網(wǎng)絡(luò)的判別損失函數(shù)、視頻質(zhì)量判別器的質(zhì)量評(píng)估損失、人臉對(duì)話生成模型的FSIM損失函數(shù)以及重構(gòu)損失函數(shù)構(gòu)建基于質(zhì)量注意力的音頻驅(qū)動(dòng)唇形網(wǎng)絡(luò)QAW的整體損失函數(shù)； 人臉生成器包括音頻編碼器、人臉編碼器和人臉解碼器，人臉編碼器中包含九個(gè)空間注意力機(jī)制SA和三個(gè)位置注意力機(jī)制CA。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人浙江大學(xué)金華研究院，其通訊地址為：321000 浙江省金華市金義新區(qū)金華科技城浙大網(wǎng)新孵化園A1-b二層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。