買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網恭喜中國石油大學(華東)申請的專利基于選擇圖結構的嵌套注意力網絡的視覺問答方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產權局授予，授權公告號為：CN115248872B 。

龍圖騰網通過國家知識產權局官網在2025-05-27發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202111068174.8，技術領域涉及：G06N5/04；該發(fā)明授權基于選擇圖結構的嵌套注意力網絡的視覺問答方法是由路靜;吳春雷;王雷全;吳杰;曹紹華;袁子煜設計研發(fā)完成，并于2021-09-13向國家知識產權局提交的專利申請。

本基于選擇圖結構的嵌套注意力網絡的視覺問答方法在說明書摘要公布了：本發(fā)明公開了基于選擇圖結構的嵌套注意力網絡的視覺問答方法。以往的方法主要采用對視覺特征的處理一般用卷積神經網絡，或者注意力機制，這會忽略視覺特征中目標和目標之間的關系。此外，在共同注意力中無論視覺特征與問題特征是否相關，注意力都會為視覺特征和問題特征輸出加權平均值。本發(fā)明首次提出了基于選擇圖結構的嵌套注意力網絡來研究圖像和問題之間的對應關系。設計一個具有嵌套注意力強化網絡，通過考慮區(qū)域間的關系，消除向量不相關信息，有效地融合視覺特征和問題特征。提出選擇圖結構模塊，依據(jù)問題找出視覺特征目標和目標之間的關系，使答案更清晰。本發(fā)明在VQA2.0上進行大量實驗證明了提出模型的有效性。

本發(fā)明授權基于選擇圖結構的嵌套注意力網絡的視覺問答方法在權利要求書中公布了：1.基于選擇圖結構的嵌套注意力網絡的視覺問答方法，其特征在于，所述方法包括以下步驟：S1.構建嵌套注意力網絡模塊，根據(jù)輸入圖像區(qū)域之間和詞語之間的相關性來挖掘完整的特征；S2.構建選擇圖結構模塊，對圖像特征構造圖結構，再依據(jù)問題特征對圖結構選取邊和結點；S3.結合S2中的網絡和S3中的網絡構建基于選擇圖結構的嵌套注意力網絡架構；所述S1的具體過程為：給定圖像特征I和問題特征T將他們輸入到嵌套注意力模型中，經過模型的訓練最終生成相應的模態(tài)特征；模型的中間部分是經典的共同注意力架構，首先對于給定的圖像特征Ik和問題特征Tk，通過叉乘運算得到注意力矩陣A，再將A通過雙層softmax生成關于問題的注意力矩陣AT和關于圖像的注意力矩陣AI最后再分別與圖像特征和問題特征相乘得到含有雙邊信息的圖像特征I′k和問題特征T′k；這個過程可用下面的五個公式表示：A＝Tk×WR×IkT1AI＝softmaxA2AT＝softmaxAT3T′k＝Tk×AT4I′k＝Ik×AI5其中公式1的WR∈RN×K表示權重矩陣，注意力矩陣的維度均為d×d；模型的整體結構是增強了雙邊信息中特征區(qū)域間的關聯(lián)性；對于問題特征，將上一步生成的問題特征T′k與圖像特征Ik做concat連接操作，然后分別經過兩個線性操作，其中一個再輸入到一個Sigmoid激活函數(shù)，再將兩個特征相乘得到最終的問題特征Tk；這個過程用下面四個公式表示：Tck＝ConcatT′k,Ik6Tlk＝LinearTck7Tlsk＝SigmoidLinearTck8TK＝Tlk×Tlsk9其中l(wèi)inear是一個Linear函數(shù)，它具有1024個具有ReLU非線性和dropout的隱藏單元；同理，對于圖像特征，將上一步生成的圖像特征I′k與問題特征Tk做concat連接操作，然后分別經過兩個線性操作，其中一個再輸入到一個Sigmoid激活函數(shù)，再將兩個特征相乘得到最終的圖像特征Ik；這個過程用下面四個公式表示：Ick＝ConcatI′k,Tk10Ilk＝LinearIck11Ilsk＝SigmoidLinearIck12IK＝Ilk×Ilsk13其中l(wèi)inear是一個Linear函數(shù)，它具有1024個具有ReLU非線性和dropout的隱藏單元；圖像特征Ik和問題特征Tk是嵌套注意力模型的輸出，其維度與輸入特征的維度一致；再將其作為嵌套注意力模型的輸入重復以上操作，k＝n時為最終輸出，即圖像特征In與問題特征Tn。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人中國石油大學(華東)，其通訊地址為：266580 山東省青島市黃島區(qū)長江西路66號；或者聯(lián)系龍圖騰網官方客服，聯(lián)系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。