買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜湖南工商大學申請的專利多模態信息提取方法、裝置、計算機設備及存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119089395B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411573724.5，技術領域涉及：G06F18/25；該發明授權多模態信息提取方法、裝置、計算機設備及存儲介質是由胡春華;聶伊朵;張雪榮;袁一豪設計研發完成，并于2024-11-06向國家知識產權局提交的專利申請。

本多模態信息提取方法、裝置、計算機設備及存儲介質在說明書摘要公布了：本發明公開了一種多模態信息提取方法、裝置、計算機設備及存儲介質，包括：對多模態信息進行類型匹配，得到至少兩個目標類型；針對每個目標類型，采用目標類型對應的特征提取方式進行特征提取，得到目標類型對應的目標特征；對所有目標特征進行特征融合，得到融合特征，實現了對多模態信息中的數據特征進行全面提取和融合，提高多模態信息識別的準確性。

本發明授權多模態信息提取方法、裝置、計算機設備及存儲介質在權利要求書中公布了：1.一種多模態信息提取方法，其特征在于，包括：對多模態信息進行類型匹配，得到至少兩個目標類型，其中一個目標類型為文本類型，所述目標類型另一個為圖像類型、知識類型、音頻類型中的至少一種；針對每個所述目標類型，采用目標類型對應的特征提取方式進行特征提取，得到目標類型對應的目標特征，其中，目標類型為文本類型時，基于文本內容構建知識圖譜，并從所述知識圖譜中提取知識特征；對每個所述目標特征和所述知識特征進行特征融合，得到融合特征；其中，所述目標類型另一個為圖像類型時，所述采用目標類型對應的特征提取方式進行特征提取，得到目標類型對應的目標特征包括：使用FasterR-CNN對象檢測模型對給所述多模態信息中的初始圖像進行處理，將所述初始圖像轉換為對象序列；為所述對象序列中的每個對象生成一個邊界框，所述邊界框用于表示對象的位置信息；在所述對象序列中，隨機選擇預設比例的對象進行屏蔽；對屏蔽后的對象序列進行嵌入操作，每個對象通過提取對象的特征向量，作為對象嵌入；針對位置和維度添加位置嵌入，得到位置嵌入向量，用于編碼對象在圖像中的位置信息，作為第一位置信息；將對象嵌入和所述第一位置信息相加，得到每個對象的綜合表示，作為所述圖像類型對應的目標特征。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人湖南工商大學，其通訊地址為：410012 湖南省長沙市岳麓區岳麓大道569號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。