買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中山大學(xué)申請的專利基于關(guān)鍵詞感知的多模態(tài)注意力視頻問答方法與系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN113902964B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-23發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號(hào)為：202111053387.3，技術(shù)領(lǐng)域涉及：G06V10/80；該發(fā)明授權(quán)基于關(guān)鍵詞感知的多模態(tài)注意力視頻問答方法與系統(tǒng)是由王若梅;陳鐸;周凡設(shè)計(jì)研發(fā)完成，并于2021-09-09向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

本基于關(guān)鍵詞感知的多模態(tài)注意力視頻問答方法與系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種基于關(guān)鍵詞感知的多模態(tài)注意力視頻問答方法與系統(tǒng)。包括：運(yùn)用多模態(tài)特征提取和預(yù)訓(xùn)練模型KeyBert關(guān)鍵詞提取算法，提取輸入視頻的各個(gè)多模態(tài)特征；運(yùn)用關(guān)鍵詞感知的多模態(tài)注意力算法，處理提取的各多模態(tài)特征，輸出經(jīng)有效關(guān)聯(lián)和融合后的多模態(tài)特征；將已融合的多模態(tài)特征經(jīng)過多層感知機(jī)MLP，輸出預(yù)測的答案。本發(fā)明還公開了一種基于關(guān)鍵詞感知的多模態(tài)注意力視頻問答計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明在提取視頻特征時(shí)，結(jié)合更為隱式的關(guān)鍵詞特征，提取更為豐富的視頻特征；在特征融合時(shí)，結(jié)合自注意力機(jī)制捕獲特征的時(shí)序性，應(yīng)用雙向注意力機(jī)制強(qiáng)調(diào)模態(tài)間互相關(guān)聯(lián)的信息，更有效地融合多模態(tài)特征，顯著提高視頻問答的準(zhǔn)確率。

本發(fā)明授權(quán)基于關(guān)鍵詞感知的多模態(tài)注意力視頻問答方法與系統(tǒng)在權(quán)利要求書中公布了：1.一種基于關(guān)鍵詞感知的多模態(tài)注意力視頻問答方法，其特征在于，所述方法包括：輸入視頻幀、字幕文本和問題文本信息，利用多模態(tài)特征提取算法和關(guān)鍵詞提取算法，提取輸入視頻的多模態(tài)特征；利用關(guān)鍵詞感知的多模態(tài)注意力算法，對所述視頻的多模態(tài)特征進(jìn)行處理，經(jīng)有效關(guān)聯(lián)和融合后，輸出已融合的多模態(tài)特征；利用多層感知機(jī)MLP，對所述已融合的多模態(tài)特征進(jìn)行處理后，輸出預(yù)測的答案；其中，將所述輸入的視頻幀、字幕文本和問題文本信息，利用多模態(tài)特征提取算法和關(guān)鍵詞提取算法，提取輸入視頻的多模態(tài)特征，具體為：利用卷積網(wǎng)絡(luò)C3D提取所述視頻幀的動(dòng)作標(biāo)簽，利用對象檢測算法Yolo提取所述視頻幀的視覺標(biāo)簽，并將所述動(dòng)作標(biāo)簽和視覺標(biāo)簽合為一個(gè)視覺標(biāo)簽集合；將所述視覺標(biāo)簽集合、問題文本和字幕文本整合為一個(gè)長句子，利用預(yù)訓(xùn)練模型KeyBert進(jìn)行關(guān)鍵詞提取，輸出提取的關(guān)鍵詞集合；利用預(yù)訓(xùn)練模型BERT和雙向神經(jīng)網(wǎng)絡(luò)LSTM編碼器，對所述視覺標(biāo)簽集合、問題文本、字幕文本和關(guān)鍵詞集合進(jìn)行處理，得到文本特征的編碼；將所述視頻幀輸入神經(jīng)網(wǎng)絡(luò)ResNet，直接提取所述視頻幀對應(yīng)圖片的視覺特征，并輸入雙向LSTM獲得視覺特征表示；結(jié)合所述文本特征和所述視覺特征，得到多模態(tài)特征；其中，所述利用關(guān)鍵詞感知的多模態(tài)注意力算法，對所述視頻的多模態(tài)特征進(jìn)行處理，經(jīng)有效關(guān)聯(lián)和融合后，輸出已融合的多模態(tài)特征，具體為：利用軟注意力機(jī)制，對所述多模態(tài)特征中的關(guān)鍵詞特征和字幕文本特征進(jìn)行關(guān)聯(lián)，篩選出與所述關(guān)鍵詞特征更相關(guān)的字幕文本，并將兩個(gè)特征合為一個(gè)關(guān)鍵字幕文本特征；相似地，對所述多模態(tài)特征中的關(guān)鍵詞特征和問題文本特征進(jìn)行關(guān)聯(lián)，篩選出與所述關(guān)鍵詞特征更相關(guān)的問題文本，并將所述兩個(gè)特征合為一個(gè)關(guān)鍵問題文本特征；對所述多模態(tài)特征、關(guān)鍵字幕文本特征和關(guān)鍵問題文本特征分別應(yīng)用自注意力機(jī)制，增強(qiáng)所述特征的時(shí)序性，并分別輸出各模態(tài)的特征表示；對所述各模態(tài)特征兩兩之間應(yīng)用雙向注意力機(jī)制，關(guān)聯(lián)不同模態(tài)特征中的相關(guān)信息，以提高特征融合的效果。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人中山大學(xué)，其通訊地址為：510006 廣東省廣州市海珠區(qū)新港西路135號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。