買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中山大學(xué)申請(qǐng)的專利基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114387641B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-06-10發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111573856.4，技術(shù)領(lǐng)域涉及：G06V40/40；該發(fā)明授權(quán)基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)方法及系統(tǒng)是由林浩;駱偉祺設(shè)計(jì)研發(fā)完成，并于2021-12-21向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)方法及系統(tǒng)在說(shuō)明書摘要公布了：本發(fā)明提出一種基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)方法及系統(tǒng)，虛假視頻檢測(cè)的技術(shù)領(lǐng)域，首先對(duì)待檢測(cè)數(shù)據(jù)集進(jìn)行處理得到視頻幀序列，識(shí)別并提取待檢測(cè)視頻數(shù)據(jù)集視頻幀序列中圖像的人臉區(qū)域，然后搭建基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)模型，基于該模型準(zhǔn)確提取人臉特征，同時(shí)融合人臉區(qū)域的不同尺度信息，其中，多尺度特征提取模塊通過學(xué)習(xí)低質(zhì)量虛假視頻中圖像的邊緣信息，得到整個(gè)人臉圖片的多尺度特征，利用ViT代替作為分類的全局平均池化和全連接層，提高了低質(zhì)量虛假視頻的檢測(cè)準(zhǔn)確率和檢測(cè)性能。

本發(fā)明授權(quán)基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)方法，其特征在于，包括以下步驟：S1.確定待檢測(cè)視頻數(shù)據(jù)集，將待檢測(cè)視頻數(shù)據(jù)集的視頻解碼為幀序列，對(duì)幀序列進(jìn)行隨機(jī)采樣選取，得到幀序列S；S2.識(shí)別幀序列S中的人臉區(qū)域并提取，然后預(yù)處理，得到特征提取區(qū)域；S3.搭建基于多尺度卷積網(wǎng)絡(luò)和ViT的虛假視頻檢測(cè)模型，包括預(yù)處理模塊、多尺度特征提取模塊、人臉高維語(yǔ)義信息提取模塊及ViT模塊；S4.將特征提取區(qū)域的RGB圖像輸入預(yù)處理模塊進(jìn)行顏色特征學(xué)習(xí)，得到顏色特征fp；S5.通過多尺度特征提取模塊提取出fp的多尺度特征圖fp＇，并將多尺度特征圖fp＇轉(zhuǎn)變?yōu)楦呔S多尺度特征圖f1；S6.通過人臉高維語(yǔ)義信息提取模塊將顏色特征fp轉(zhuǎn)變?yōu)楦呔S人臉語(yǔ)義特征f2，將高維多尺度特征圖f1與高維人臉語(yǔ)義特征f2融合為特征圖S7.利用ViT模塊學(xué)習(xí)特征圖的全局信息并作出預(yù)測(cè)，得到真實(shí)、虛假視頻的分類輸出結(jié)果；步驟S3所述的預(yù)處理模塊以EfficientNet-B4作為基準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)，包括依次連接的一個(gè)3*3卷積層及EfficientNet-B4的前十個(gè)MBConvBlocks；所述的多尺度特征提取模塊連接預(yù)處理模塊，多尺度特征提取模塊包括依次連接的空洞卷積單元及深度分離卷積單元，所述空洞卷積單元包括L個(gè)不同感受野的并列空洞卷積，深度分離卷積單元包括Q個(gè)深度分離卷積塊及P個(gè)殘差分離卷積塊，每個(gè)深度分離卷積塊均由relu非線性激活函數(shù)和一個(gè)深度分離卷積、以及歸一化層組成，每一個(gè)殘差分離卷積塊在深度分離卷積塊中都帶有一個(gè)線形的殘差連接；所述人臉高維語(yǔ)義信息提取模塊連接預(yù)處理模塊，人臉高維語(yǔ)義信息提取模塊以EfficientNet-B4為基礎(chǔ)網(wǎng)絡(luò)，具體由依次連接的EfficientNet-B4的后22個(gè)MBConvBlocks組成；多尺度特征提取模塊的輸出端與人臉高維語(yǔ)義信息提取模塊的輸出端融合后，連接ViT模塊，所述ViT模塊包括依次連接的深度分離卷積塊及VisionTransformer模塊，VisionTransformer模塊包括Embedding層、TransformerEncoder層及MLPHead分類層；步驟S4所述將特征提取區(qū)域的RGB圖像輸入預(yù)處理模塊進(jìn)行顏色特征學(xué)習(xí)的過程為：S41.將特征提取區(qū)域調(diào)整大小為H，W，3的RGB圖像，并進(jìn)行歸一化處理，作為顏色特征數(shù)據(jù)，其中，H表示RGB圖像的高度，W為RGB圖像的寬度，3為通道；S42.設(shè)置預(yù)處理模塊的訓(xùn)練參數(shù)、損失函數(shù)，對(duì)預(yù)處理模塊進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)處理模塊；S43.將調(diào)整后的RGB圖像輸入訓(xùn)練好的預(yù)處理模塊進(jìn)行顏色卷積特征學(xué)習(xí)，選擇EfficientNet-B4的前十個(gè)MBConvBlocks輸出的張量作為顏色特征fp；步驟S5的過程為：S51.設(shè)置空洞卷積單元中L個(gè)不同感受野的并列空洞卷積的空洞大小及卷積核大小；S52.將顏色特征fp分別輸入空洞卷積單元的L個(gè)不同感受野的并列空洞卷積，利用L個(gè)不同感受野的并列空洞卷積分別提取人臉邊緣特征信息，得到L個(gè)尺度特征圖F1，…，F(xiàn)L；S53.將L個(gè)尺度特征圖F1，…，F(xiàn)L與顏色特征fp融合，得到多尺度特征圖fp＇；S54.將多尺度特征圖fp＇輸入深度分離卷積單元，利用深度分離卷積單元的深度分離卷積塊及殘差分離卷積塊，將多尺度特征圖fp＇轉(zhuǎn)變?yōu)楦呔S多尺度特征圖f1；在步驟S6中，人臉高維語(yǔ)義信息提取模塊接收預(yù)處理模塊輸出的顏色特征fp，人臉高維語(yǔ)義信息提取模塊中依次連接的EfficientNet-B4的后22個(gè)MBConvBlocks將顏色特征fp轉(zhuǎn)變?yōu)楦呔S人臉語(yǔ)義特征f2；在步驟S7中，利用ViT模塊學(xué)習(xí)特征圖Ffuse的全局信息時(shí)，TransformerEncoder的每一層均能得到的全局信息，設(shè)置交叉熵?fù)p失函數(shù)，反向傳播ViT模塊的權(quán)重參數(shù)，得到訓(xùn)練好的虛假視頻檢測(cè)模型；多尺度特征提取模塊的輸出端輸出高維多尺度特征圖f1，人臉高維語(yǔ)義信息提取模塊的輸出端輸出高維人臉語(yǔ)義特征f2，高維多尺度特征圖f11與高維人臉語(yǔ)義特征f2融合為特征圖特征圖輸入ViT模塊，通過深度分離卷積塊從空間跟通道兩個(gè)獨(dú)立的維度上學(xué)習(xí)特征圖的信息，并且提升特征圖的維度，將升維后的特征圖劃分為若干區(qū)塊Patches，通過線性映射將每個(gè)區(qū)塊Patch映射到一維向量中，然后經(jīng)PositionEmbedding后輸入至TransformerEncoder層。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中山大學(xué)，其通訊地址為：510275 廣東省廣州市海珠區(qū)新港西路135號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。