買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜東南大學(xué)申請(qǐng)的專利一種基于類間差異強(qiáng)化網(wǎng)絡(luò)的人臉表情識(shí)別方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114241564B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-29發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111555614.2，技術(shù)領(lǐng)域涉及：G06V40/16；該發(fā)明授權(quán)一種基于類間差異強(qiáng)化網(wǎng)絡(luò)的人臉表情識(shí)別方法是由達(dá)飛鵬;蔣倩設(shè)計(jì)研發(fā)完成，并于2021-12-17向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于類間差異強(qiáng)化網(wǎng)絡(luò)的人臉表情識(shí)別方法在說(shuō)明書摘要公布了：本發(fā)明公開了一種基于類間差異強(qiáng)化網(wǎng)絡(luò)的人臉表情識(shí)別方法，步驟如下：收集數(shù)據(jù)集，對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理；分析表情相似度關(guān)系；利用相似度信息構(gòu)建并行分支網(wǎng)絡(luò)分別提取全局特征和同于區(qū)分相似表情的細(xì)粒度特征；將提取的特征分別送入全連接層降維，并進(jìn)行特征融合，經(jīng)分類器輸出表情類別；添加類平衡加權(quán)損失函數(shù)，以此擴(kuò)大類間距。本方法充分利用表情相似度信息，提取細(xì)粒度特征，有效地提高了人臉表情分類效果。

本發(fā)明授權(quán)一種基于類間差異強(qiáng)化網(wǎng)絡(luò)的人臉表情識(shí)別方法在權(quán)利要求書中公布了：1.一種基于類間差異強(qiáng)化網(wǎng)絡(luò)的人臉表情識(shí)別方法，其特征在于，包括以下步驟：步驟1：從網(wǎng)絡(luò)上獲取公開數(shù)據(jù)集并進(jìn)行圖像預(yù)處理以及樣本增強(qiáng)；步驟2：進(jìn)行先驗(yàn)實(shí)驗(yàn)分析表情相似度關(guān)系，將7類基本表情劃分到兩個(gè)強(qiáng)關(guān)聯(lián)集；步驟3：設(shè)計(jì)并行網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)由主干網(wǎng)絡(luò)BBN和強(qiáng)化分支DRN組成，將步驟1中得到的數(shù)據(jù)送入并行網(wǎng)絡(luò)中，主干網(wǎng)絡(luò)用于提取全局高層語(yǔ)義特征，強(qiáng)化分支用于提取相似表情細(xì)粒度特征；步驟4：將步驟3中得到的高層語(yǔ)義特征和相似表情細(xì)粒度特征經(jīng)全連接層降維后進(jìn)行特征融合，經(jīng)分類器輸出人臉表情類別；步驟5：基于有效樣本數(shù)理論，設(shè)計(jì)類平衡加權(quán)損失函數(shù)，通過(guò)在Cross-EntropyLoss的基礎(chǔ)上對(duì)多數(shù)類和稀有類賦予不同的權(quán)重，抑制類間競(jìng)爭(zhēng)，緩解多數(shù)類作用于稀有類的負(fù)樣本監(jiān)督信號(hào)，擴(kuò)大表情特征的類間距；所述步驟1的具體方法為：所述公開數(shù)據(jù)集為FER2013數(shù)據(jù)集和RAF-DB數(shù)據(jù)集，首先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理，利用MTCNN人臉檢測(cè)算法檢測(cè)出圖像中的人臉區(qū)域，將其從原始圖像中裁剪出來(lái)，縮放到統(tǒng)一尺寸224×224，針對(duì)單通道圖像，通過(guò)復(fù)制法將單通道圖片轉(zhuǎn)化為三通道圖片，并采用隨機(jī)裁剪、隨機(jī)水平翻轉(zhuǎn)的方法進(jìn)行數(shù)據(jù)增強(qiáng)；所述步驟3的具體方法為：所述網(wǎng)絡(luò)結(jié)構(gòu)以ResNet34網(wǎng)絡(luò)模型為基礎(chǔ)，在網(wǎng)絡(luò)中嵌入多個(gè)輕量級(jí)的注意力機(jī)制模塊，構(gòu)建主干網(wǎng)絡(luò)，主干網(wǎng)絡(luò)BBN以原始圖片作為輸入，學(xué)習(xí)全局高層語(yǔ)義特征，強(qiáng)化分支放置在主干網(wǎng)絡(luò)的第二個(gè)殘差塊和第三個(gè)殘差塊之間并分化為兩個(gè)分支，分別對(duì)不同強(qiáng)關(guān)聯(lián)組包含的表情類別進(jìn)行進(jìn)一步地細(xì)粒度特征提取，其中具體的構(gòu)建并行神經(jīng)網(wǎng)絡(luò)的方法為：步驟3.1：ResNet34網(wǎng)絡(luò)中部由4個(gè)殘差Block串聯(lián)而成，每個(gè)Block分別包含3,4,6,3個(gè)殘差結(jié)構(gòu)，所述主干網(wǎng)絡(luò)將尺寸為224×224×3的原始圖像作為輸入，在每?jī)蓚€(gè)Block之間嵌入輕量的聯(lián)合注意力模塊LMAM，提取得到全局高層語(yǔ)義特征；步驟3.2：步驟3.1中所述LMAM由SAM和CAM組成，尺寸為c×h×w的特征圖F輸入到LMAM中，經(jīng)SAM學(xué)習(xí)各個(gè)空間位置間的關(guān)系，再經(jīng)CAM獲取不同通道的權(quán)重，得到最終特征圖；SAM首先利用AvgPool對(duì)輸入特征圖F進(jìn)行壓縮，得到尺寸為1×h×w的空間維度全局特征，再依次經(jīng)過(guò)5×5卷積，MaxPool，3×3卷積后縮小特征尺寸，經(jīng)上采樣處理后恢復(fù)原尺寸，最后經(jīng)Sigmoid激活，得到尺寸為1×h×w的空間注意圖MSA，將MSA和F進(jìn)行逐元素相乘，得到被空間注意圖優(yōu)化過(guò)的特征圖FSA表示為：MSA＝SAMF＝δUpsamplefconv-poolAvgPoolx1 其中：fconv-pool表示5×5卷積，MaxPool，3×3卷積串聯(lián)結(jié)構(gòu)，δ表示Sigmoid激活操作；步驟3.3：將FSA輸入到CAM中進(jìn)一步獲取不同channel的權(quán)重信息，首先利用AvgPool和MaxPool分別對(duì)FSA進(jìn)行壓縮，再分別經(jīng)雙層全連接層處理后，得到兩個(gè)尺寸為c×1×1的通道特征MCA_Avg和MCA_Max，將MCA_Avg和MCA_Max進(jìn)行逐元素相加后，經(jīng)Sigmoid激活，得到空間注意力圖MCA，將MCA和F進(jìn)行逐元素相乘，生成被空間注意圖和通道注意圖雙重優(yōu)化過(guò)的特征圖FLMAM表示為：MCA＝CAMF＝δfFC1AvgPoolFSA+δfFC2MaxPoolFSA3 其中：fFC1和fFC2表示雙層全連接層，δ表示Sigmoid激活操作；步驟3.4：強(qiáng)化分支網(wǎng)絡(luò)DRN由兩個(gè)結(jié)構(gòu)相同的小分支并聯(lián)組成，分別對(duì)不同強(qiáng)關(guān)聯(lián)集內(nèi)的表情類別進(jìn)行強(qiáng)化處理，每個(gè)分支由ResNet34中第三個(gè)殘差Block和一個(gè)CAM構(gòu)成細(xì)粒度特征提取單元，提取到的相似表情差異細(xì)粒度特征表示為： 其中：FDRN1和FDRN2分別表示分支1和分支2提取到的相似表情細(xì)粒度特征。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人東南大學(xué)，其通訊地址為：210000 江蘇省南京市麒麟科創(chuàng)園智識(shí)路26號(hào)啟迪城立業(yè)園04幢；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。