買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜復旦大學申請的專利基于協同特征補全的有遮擋場景下的人臉表情識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114821714B 。

龍圖騰網通過國家知識產權局官網在2025-03-21發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210370651.4，技術領域涉及：G06V40/16；該發明授權基于協同特征補全的有遮擋場景下的人臉表情識別方法是由顏波;譚偉敏;邢稹;何瑞安設計研發完成，并于2022-04-10向國家知識產權局提交的專利申請。

本基于協同特征補全的有遮擋場景下的人臉表情識別方法在說明書摘要公布了：本發明屬于數字圖像處理技術領域，具體為一種基于協同特征補全的有遮擋場景下的人臉表情識別方法。本發明聯合遮擋物摳除與特征補全來應對遮擋給表情識別帶來的影響，具體步驟包括：使用遮擋物摳除模塊檢測并摳除人臉遮擋圖像中的遮擋物；根據成對的無遮擋圖像生成類別激活圖以確定表情識別時具有判別性的區域；結合類別激活圖與遮擋物位置掩碼生成最終需要進行特征補全區域的掩碼，在對應無遮擋圖像中間特征圖的指導下進行特征補全。實驗結果表明，本發明能檢測出破壞人臉完整性的遮擋物并識別該圖像對應的表情類別。

本發明授權基于協同特征補全的有遮擋場景下的人臉表情識別方法在權利要求書中公布了：1.一種基于協同特征補全的有遮擋場景下的人臉表情識別方法，其特征在于，包括：使用遮擋物摳除模塊檢測并摳除人臉遮擋圖像中的遮擋物；根據成對的無遮擋圖像生成類別激活圖以確定表情識別時具有判別性的區域；結合類別激活圖與遮擋物位置掩碼生成最終需要進行特征補全區域的掩碼，在對應無遮擋圖像中間特征圖的指導下進行特征補全；具體步驟為：1構建無遮擋圖像分類模塊，作為整個網絡的一個分支，僅在網絡訓練階段使用，用于：對無遮擋人臉表情圖像進行分類，獲取該圖像屬于不同類別的概率分布，確定對表情判別較為重要的區域以及為有遮擋圖像特征補全及分類模塊的特征補全提供指導；2構建遮擋物摳除模塊，用于檢測并摳除人臉遮擋圖像中的遮擋物；3構建有遮擋圖像特征補全及分類模塊，作為整個網絡的另一個分支，用于對摳除遮擋后的人臉表情圖像進行特征補全和分類，獲取該圖像屬于不同類別的概率分布；步驟1中，所述無遮擋圖像分類模塊采用ResNet-50的結構，具體包括卷積層、全局平均池化層GAP和全連接層；其中，卷積層分為5個stage，依次記為C1、C2、C3、C4、C5，相對應地，其提取的特征由淺層紋理特征過渡到深層語義特征；C1stage包含一個卷積層、批歸一化層和ReLU激活函數，用于對輸入圖像的預處理；C2,C3,C4,C5stage分別包含3、4、6、3個殘差塊；記C3stage輸出的中間層過渡特征為hclean，C5stage之后、全局平均池化層之前的特征圖為f，全連接層對應的權值矩陣為w；該無遮擋圖像分類模塊用于對輸入的無遮擋人臉表情圖像xclean進行分類，獲取該圖像屬于不同類別的概率分布并生成該圖像對應真實表情類別yGT的類激活圖具體表示為： 其中，為全連接層對應權值矩陣中對應類別yGT的第k個單元的取值；fku,v為特征圖f在空間位置u,v處第k個單元的激活值；對進行上采樣至hclean大小并做最大最小歸一化處理，得到對其進行二值化，設定二值化閾值Tkey，得到表情判別重要區域的二值掩碼MCAM： 其中，Tkey為二值化閾值；MCAM中每個位置的像素值表示hclean中對應位置的像素屬于表情判別重要區域的概率值；步驟2中所述遮擋物摳除模塊采用U-Net結構，包括3個卷積塊、3個殘差塊和3個反卷積塊；其中，每個卷積塊包含一個卷積層、實例歸一化層及ReLU激活函數；卷積層中步長為2，用于降低特征圖分辨率；反卷積塊中包含一個反卷積層、實例歸一化層及ReLU激活函數，用于對特征圖進行上采樣；殘差塊由兩個堆疊的基礎卷積塊和跳躍連接構成，其中每個基礎卷積塊包含一個卷積層、實例歸一化層及ReLU激活函數；殘差塊不改變特征圖分辨率；記有遮擋人臉表情圖像為xocc，將其輸入遮擋物摳除模塊后得到一張與xocc大小相同的掩碼Morigin；對Morigin進行最大最小歸一化處理，得到M′origin，設定二值化閾值Tmask，計算最終的二值掩碼Mocc： 其中，Mocc為指示遮擋物位置及形狀的二值掩碼，其中每個位置的像素值表示原圖中對應位置的像素不是遮擋物的概率；然后，將有遮擋人臉表情圖像xocc與二值掩碼Mocc做逐像素乘法，得到摳除遮擋物之后的人臉表情圖像xfilter；步驟3中所述有遮擋圖像特征補全及分類模塊采用ResNet-50的結構，具體包括卷積層、全局平均池化層GAP和全連接層；其中，卷積層分為5個stage，依次記為C1、C2、C3、C4、C5，相對應地，其提取的特征由淺層紋理特征過渡到深層語義特征；C1stage包含一個卷積層、批歸一化層和ReLU激活函數，用于對輸入圖像的預處理；C2,C3,C4,C5stage分別包含3、4、6、3個殘差塊；記C3stage輸出的中間層過渡特征為hocc；將摳除遮擋物之后的人臉表情圖像xfilter作為該有遮擋圖像特征補全及分類模塊輸入，結合步驟1給出的中間特征圖hclean、表情判別重要區域的二值掩碼MCAM和步驟2中給出的二值掩碼Mocc對xfilter進行特征補全和分類，獲取該圖像屬于不同類別的概率分布其中：對摳除遮擋后的人臉表情圖像xfilter進行特征補全的方法如下：將遮擋物摳除模塊生成的遮擋物掩碼Mocc縮放至hclean的大小，得到M'occ，而后融合無遮擋圖像分類模塊生成的表情判別重要區域的掩碼MCAM與M'occ，得到最終需要進行特征補全區域的二值掩碼Mfuse：Mfusex,y＝M′occx,y|MCAMx,y，4其中，|表示邏輯或；然后，利用二值掩碼Mfuse確定特征補全區域，以無遮擋圖像中間特征圖hclean指導有遮擋圖像中間特征圖hocc的特征補全，對應的特征補全損失函數如下： 其中，表示逐元素乘法。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人復旦大學，其通訊地址為：200433 上海市楊浦區邯鄲路220號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。