買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉合肥工業(yè)大學(xué)申請的專利一種基于多模態(tài)異構(gòu)圖的視聽視頻問答方法和系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119311842B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-03-25發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411823994.7，技術(shù)領(lǐng)域涉及：G06F16/3329；該發(fā)明授權(quán)一種基于多模態(tài)異構(gòu)圖的視聽視頻問答方法和系統(tǒng)是由周金星;郭丹;李張斌;汪萌設(shè)計(jì)研發(fā)完成，并于2024-12-12向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于多模態(tài)異構(gòu)圖的視聽視頻問答方法和系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種基于多模態(tài)異構(gòu)圖的視聽視頻問答方法和系統(tǒng)，涉及多模態(tài)交互、視頻內(nèi)容分析、智能問答等技術(shù)領(lǐng)域，提取音視頻中的視覺特征和音頻特征；根據(jù)視覺特征和音頻特征，分別構(gòu)建運(yùn)動引導(dǎo)和音頻引導(dǎo)的異構(gòu)圖；將運(yùn)動引導(dǎo)和音頻引導(dǎo)的異構(gòu)圖進(jìn)行聚合，得到視聽交互后的視覺特征和音頻特征；提取查詢問題中的問題特征，根據(jù)問題特征挑選關(guān)鍵視覺區(qū)域，獲取稀疏視覺特征；根據(jù)問題特征和稀疏視覺特征，構(gòu)建問題引導(dǎo)的異構(gòu)圖，得到局部視覺特征和全局視覺特征；將問題特征分別與視聽交互后的音頻特征、局部視覺特征和全局視覺特征進(jìn)行融合，分別得到融合后的問題特征；根據(jù)多模態(tài)融合后的問題特征，得到問題答案的預(yù)測結(jié)果，提升問答準(zhǔn)確率。

本發(fā)明授權(quán)一種基于多模態(tài)異構(gòu)圖的視聽視頻問答方法和系統(tǒng)在權(quán)利要求書中公布了：1.一種基于多模態(tài)異構(gòu)圖的視聽視頻問答方法，其特征在于，包括以下步驟：S1，提取音視頻中的視覺特征和音頻特征；S2，根據(jù)視覺特征和音頻特征，構(gòu)建運(yùn)動引導(dǎo)的異構(gòu)圖；S3，根據(jù)視覺特征和音頻特征，構(gòu)建音頻引導(dǎo)的異構(gòu)圖；S4，將運(yùn)動引導(dǎo)的異構(gòu)圖和音頻引導(dǎo)的異構(gòu)圖進(jìn)行聚合，得到視聽交互后的視覺特征和音頻特征；S5，提取查詢問題中的問題特征，根據(jù)問題特征挑選關(guān)鍵視覺區(qū)域，獲取稀疏視覺特征；S6，根據(jù)問題特征和稀疏視覺特征，構(gòu)建問題引導(dǎo)的異構(gòu)圖，得到局部視覺特征和全局視覺特征；S7，多模態(tài)融合：將問題特征分別與視聽交互后的音頻特征、局部視覺特征和全局視覺特征進(jìn)行融合，分別得到融合后的問題特征；S8，根據(jù)多模態(tài)融合后的問題特征，得到問題答案的預(yù)測結(jié)果；步驟S1中，對音視頻進(jìn)行劃分，得到T個視頻幀和T個音頻片段；對每個視頻幀和音頻片段進(jìn)行特征提取，得到音視頻的視覺特征和音頻特征；其中，視覺特征記為，，vt是第t個視頻幀的視覺特征，，N2表示視頻幀圖像中的視覺區(qū)域數(shù)目，d是特征維度；音頻特征記為I={at|t=1,...,T}，I∈RT×d，其中，at是第t個音頻片段的音頻特征，at∈R1×d；步驟S2的具體過程如下所示：S21，計(jì)算每個視頻幀的運(yùn)動密度mt，計(jì)算方式為：首先計(jì)算每個視覺區(qū)域的運(yùn)動密度ρit： ；其中，||·||表示特征二范數(shù)歸一化處理；vit與vit+1表示相鄰視頻幀即第t個視頻幀和t+1個視頻幀中第i個視覺區(qū)域?qū)?yīng)的區(qū)域視覺特征；ρit表示第t個視頻幀中第i個視覺區(qū)域的運(yùn)動密度；然后計(jì)算得到第t個視頻幀的運(yùn)動信息ρt： ；得到所有視頻幀的運(yùn)動信息的平均值μ： ；最后計(jì)算得到每個視頻幀的運(yùn)動密度mt，mt=1-λρt+λμ；其中，λ為平衡系數(shù)；S22，獲取運(yùn)動引導(dǎo)的異構(gòu)圖的連接矩陣Amt： ；其中，表示矩陣元素間兩兩點(diǎn)乘；上標(biāo)T表示矩陣轉(zhuǎn)置，符號“;”表示矩陣拼接；S23，確定運(yùn)動引導(dǎo)的異構(gòu)圖的圖節(jié)點(diǎn)Nt=[vt;at]；S24，構(gòu)建運(yùn)動引導(dǎo)的異構(gòu)圖Gmt，Gmt=ReLUAmtNtWm；其中，Wm是運(yùn)動引導(dǎo)的異構(gòu)圖Gmt的可學(xué)習(xí)參數(shù)，ReLU是激活函數(shù)；GmtNt=[vmt;amt]，vmt為運(yùn)動引導(dǎo)的異構(gòu)圖Gmt的圖節(jié)點(diǎn)Nt中的視覺特征，amt為運(yùn)動引導(dǎo)的異構(gòu)圖Gmt的圖節(jié)點(diǎn)Nt中的音頻特征；步驟S3的具體過程如下所示：S31，計(jì)算每個視頻幀的聲音激活矩陣st： ；其中，表示矩陣乘法；S32，獲取音頻引導(dǎo)的異構(gòu)圖的連接矩陣Ast： ；S33，確定音頻引導(dǎo)的異構(gòu)圖的圖節(jié)點(diǎn)Nt=[vt;at]；S34，構(gòu)建音頻引導(dǎo)的異構(gòu)圖Gst，Gst=ReLUAstNtWs；其中，Ws是音頻引導(dǎo)的異構(gòu)圖Gst的可學(xué)習(xí)參數(shù)；GstNt=[vst;ast]，vst為音頻引導(dǎo)的異構(gòu)圖Gst的圖節(jié)點(diǎn)Nt中的視覺特征，ast為音頻引導(dǎo)的異構(gòu)圖Gst的圖節(jié)點(diǎn)Nt中的音頻特征。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人合肥工業(yè)大學(xué)，其通訊地址為：230009 安徽省合肥市包河區(qū)屯溪路193號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。