買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜合肥工業大學申請的專利一種基于多模態異構圖的視聽視頻問答方法和系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119311842B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411823994.7，技術領域涉及：G06F16/3329；該發明授權一種基于多模態異構圖的視聽視頻問答方法和系統是由周金星;郭丹;李張斌;汪萌設計研發完成，并于2024-12-12向國家知識產權局提交的專利申請。

本一種基于多模態異構圖的視聽視頻問答方法和系統在說明書摘要公布了：本發明公開了一種基于多模態異構圖的視聽視頻問答方法和系統，涉及多模態交互、視頻內容分析、智能問答等技術領域，提取音視頻中的視覺特征和音頻特征；根據視覺特征和音頻特征，分別構建運動引導和音頻引導的異構圖；將運動引導和音頻引導的異構圖進行聚合，得到視聽交互后的視覺特征和音頻特征；提取查詢問題中的問題特征，根據問題特征挑選關鍵視覺區域，獲取稀疏視覺特征；根據問題特征和稀疏視覺特征，構建問題引導的異構圖，得到局部視覺特征和全局視覺特征；將問題特征分別與視聽交互后的音頻特征、局部視覺特征和全局視覺特征進行融合，分別得到融合后的問題特征；根據多模態融合后的問題特征，得到問題答案的預測結果，提升問答準確率。

本發明授權一種基于多模態異構圖的視聽視頻問答方法和系統在權利要求書中公布了：1.一種基于多模態異構圖的視聽視頻問答方法，其特征在于，包括以下步驟：S1，提取音視頻中的視覺特征和音頻特征；S2，根據視覺特征和音頻特征，構建運動引導的異構圖；S3，根據視覺特征和音頻特征，構建音頻引導的異構圖；S4，將運動引導的異構圖和音頻引導的異構圖進行聚合，得到視聽交互后的視覺特征和音頻特征；S5，提取查詢問題中的問題特征，根據問題特征挑選關鍵視覺區域，獲取稀疏視覺特征；S6，根據問題特征和稀疏視覺特征，構建問題引導的異構圖，得到局部視覺特征和全局視覺特征；S7，多模態融合：將問題特征分別與視聽交互后的音頻特征、局部視覺特征和全局視覺特征進行融合，分別得到融合后的問題特征；S8，根據多模態融合后的問題特征，得到問題答案的預測結果；步驟S1中，對音視頻進行劃分，得到T個視頻幀和T個音頻片段；對每個視頻幀和音頻片段進行特征提取，得到音視頻的視覺特征和音頻特征；其中，視覺特征記為，，vt是第t個視頻幀的視覺特征，，N2表示視頻幀圖像中的視覺區域數目，d是特征維度；音頻特征記為I={at|t=1,...,T}，I∈RT×d，其中，at是第t個音頻片段的音頻特征，at∈R1×d；步驟S2的具體過程如下所示：S21，計算每個視頻幀的運動密度mt，計算方式為：首先計算每個視覺區域的運動密度ρit： ；其中，||·||表示特征二范數歸一化處理；vit與vit+1表示相鄰視頻幀即第t個視頻幀和t+1個視頻幀中第i個視覺區域對應的區域視覺特征；ρit表示第t個視頻幀中第i個視覺區域的運動密度；然后計算得到第t個視頻幀的運動信息ρt： ；得到所有視頻幀的運動信息的平均值μ： ；最后計算得到每個視頻幀的運動密度mt，mt=1-λρt+λμ；其中，λ為平衡系數；S22，獲取運動引導的異構圖的連接矩陣Amt： ；其中，表示矩陣元素間兩兩點乘；上標T表示矩陣轉置，符號“;”表示矩陣拼接；S23，確定運動引導的異構圖的圖節點Nt=[vt;at]；S24，構建運動引導的異構圖Gmt，Gmt=ReLUAmtNtWm；其中，Wm是運動引導的異構圖Gmt的可學習參數，ReLU是激活函數；GmtNt=[vmt;amt]，vmt為運動引導的異構圖Gmt的圖節點Nt中的視覺特征，amt為運動引導的異構圖Gmt的圖節點Nt中的音頻特征；步驟S3的具體過程如下所示：S31，計算每個視頻幀的聲音激活矩陣st： ；其中，表示矩陣乘法；S32，獲取音頻引導的異構圖的連接矩陣Ast： ；S33，確定音頻引導的異構圖的圖節點Nt=[vt;at]；S34，構建音頻引導的異構圖Gst，Gst=ReLUAstNtWs；其中，Ws是音頻引導的異構圖Gst的可學習參數；GstNt=[vst;ast]，vst為音頻引導的異構圖Gst的圖節點Nt中的視覺特征，ast為音頻引導的異構圖Gst的圖節點Nt中的音頻特征。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人合肥工業大學，其通訊地址為：230009 安徽省合肥市包河區屯溪路193號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。