買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜成都信息工程大學申請的專利一種基于跨模態特征互補和有向圖學習的多模態對話情感識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119181045B 。

龍圖騰網通過國家知識產權局官網在2025-04-04發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411291553.7，技術領域涉及：G06V20/40；該發明授權一種基于跨模態特征互補和有向圖學習的多模態對話情感識別方法是由鄭文斌;彭君印;安俊秀設計研發完成，并于2024-09-14向國家知識產權局提交的專利申請。

本一種基于跨模態特征互補和有向圖學習的多模態對話情感識別方法在說明書摘要公布了：本發明公開了一種基于跨模態特征互補和有向圖學習的多模態對話情感識別方法，涉及對話情感識別技術領域，所述方法包括：獲取視頻對話數據，對所述視頻對話數據進行特征提取，獲得第一特征；對所述第一特征進行編碼，獲得第二特征；基于所述第二特征構建跨模態異構圖，基于所述跨模態異構圖獲得注意力權重；基于所述注意力權重對所述跨模態異構圖進行更新，獲得最終跨模態異構圖，提取所述最終跨模態異構圖的互補特征信息，基于所述互補特征信息，對所述最終跨模態異構圖的特征進行融合獲得增強特征；基于所述增強特征構建多模態有向圖；基于所述多模態有向圖獲得情感特征，將所述情感特征傳輸至預訓練情感分類器進行預測，獲得預測情感結果，可以解決現有ERC方法中多模態數據融合中的沖突和異構性、以及忽略各模態之間的相互作用，導致模態信息丟失、模態融合不充分的問題。

本發明授權一種基于跨模態特征互補和有向圖學習的多模態對話情感識別方法在權利要求書中公布了：1.一種基于跨模態特征互補和有向圖學習的多模態對話情感識別方法，其特征在于，所述方法包括：獲取視頻對話數據，對所述視頻對話數據進行特征提取，獲得第一特征；對所述第一特征進行編碼，獲得第二特征；基于所述第二特征構建跨模態異構圖，基于所述跨模態異構圖獲得注意力權重；基于所述注意力權重對所述跨模態異構圖進行更新，獲得最終跨模態異構圖，提取所述最終跨模態異構圖的互補特征信息，基于所述互補特征信息，對所述最終跨模態異構圖的特征進行融合獲得增強特征；基于所述增強特征構建多模態有向圖；基于所述多模態有向圖獲得情感特征，將所述情感特征傳輸至預訓練情感分類器進行預測，獲得預測情感結果；構建多模態有向圖的具體步驟包括：基于所述增強特征獲得話語節點，基于所述話語節點獲得話語邊和所述話語邊的關系類型，所述話語節點包括文本話語節點、視頻話語節點和音頻話語節點，話語邊包括不同模態的話語節點之間的外部邊和同一模態的話語節點之間的內部邊，所述邊的關系類型包括外部邊類型和內部邊類型；基于所述話語節點的時間順序，控制所述話語節點的M個過去話語節點和N個未來話語節點，獲得所述多模態有向圖，M和N均表示大于或等于1的整數；獲得情感特征的具體步驟包括：提取所述話語節點中內部節點之間和相鄰所述話語節點之間的依賴關系，獲得第三特征；基于所述第三特征，提取所述多模態有向圖的局部信息和全局信息，獲得第四特征；將所述第四特征進行鄰居采樣和聚合，獲得所述情感特征；獲得第三特征的第一計算公式為： 其中，表示第三特征，ωtop和ωt均表示可學習參數，表示話語節點的特征，Pti表示在關系t∈R下節點的鄰居索引的集合，|Pti|表示歸一化常數，表示節點的鄰居節點的特征，η表示三種不同的模態，包括文本模態、視頻模態和音頻模態，i和m均表示序號。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人成都信息工程大學，其通訊地址為：610225 四川省成都市西南航空港經濟開發區學府路1段24號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。