恭喜中南大學楊展獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜中南大學申請的專利一種基于關系網絡的跨模態哈希檢索方法、裝置和設備獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119226447B 。
龍圖騰網通過國家知識產權局官網在2025-04-04發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411756952.6,技術領域涉及:G06F16/334;該發明授權一種基于關系網絡的跨模態哈希檢索方法、裝置和設備是由楊展;王博軒;龍軍;李逸楠;陳云飛設計研發完成,并于2024-12-03向國家知識產權局提交的專利申請。
本一種基于關系網絡的跨模態哈希檢索方法、裝置和設備在說明書摘要公布了:本申請涉及一種基于關系網絡的跨模態哈希檢索方法、裝置和設備,本方法首先獲得樣本對的圖像特征向量和文本特征向量,并得到融合特征向量;然后通過關系網絡從圖像特征向量、文本特征向量以及融合特征向量中挖掘不同模態對象之間的關聯關系,捕獲對象樣本之間的成對關系的核心共性;然后根據哈希網絡計算每個樣本對的第一哈希碼和第二哈希碼之間的第一相似度,根據第二相似度構建損失函數,最后基于損失函數對哈希檢索模型的哈希網絡進行反向優化。本方法將關系網絡引入跨模態哈希檢索,解決在將多模態數據的特征向量在獲取相似度時存在損失模態語義特征相似性,導致跨模態數據檢索準確率不足的問題,實現對多模態的數據進行高精度跨模態檢索。
本發明授權一種基于關系網絡的跨模態哈希檢索方法、裝置和設備在權利要求書中公布了:1.一種基于關系網絡的跨模態哈希檢索方法,其特征在于,所述方法包括:獲取目標文本和目標圖像;將所述目標文本和所述目標圖像輸入哈希檢索模型,得到所述哈希檢索模型輸出的所述目標文本對應的第一目標哈希碼和所述目標圖像對應的第二目標哈希碼之間的哈希檢索結果,其中,所述哈希檢索模型的訓練過程包括:根據所述哈希檢索模型的特征提取網絡獲取每個樣本對的文本特征向量和圖像特征向量;所述樣本對由待訓練文本的任意一個文本分詞樣本和待訓練圖像的任意一個圖像點樣本組成;根據所述哈希檢索模型的融合網絡融合每個樣本對的文本特征向量和圖像特征向量,得到每個樣本對的融合特征向量;根據所述哈希檢索模型的哈希網絡將每個樣本對的文本特征向量轉換成第一哈希碼,和將每個樣本對的圖像特征向量轉換成第二哈希碼,并計算每個樣本對的所述第一哈希碼和所述第二哈希碼之間的第一相似度;根據所述哈希檢索模型的關系網絡計算每個樣本對的向量組的第二相似度;所述每個樣本對的向量組由每個樣本對的文本特征向量、圖像特征向量以及融合特征向量其中至少兩項組成;根據每個樣本對的向量組的所述第二相似度,構建用于約束所有樣本對中的相似的哈希碼之間的所述第一相似度小于不相似的哈希碼之間的所述第一相似度的損失函數,并基于所述損失函數對所述哈希檢索模型的哈希網絡進行反向優化,直至得到訓練完成的所述哈希檢索模型;所述計算每個樣本對的向量組的所述第二相似度,包括: ; ;其中,為由特征向量和特征向量組成的向量組的拼接向量,所述特征向量和特征向量為所述文本特征向量、所述圖像特征向量和所述融合特征向量的其中一種,且所述特征向量與所述特征向量不是同一種模態的特征向量;為第一偏置項,為第一權重矩陣,為非線性激活函數,為第二偏置項,為第二權重矩陣,為的轉置矩陣,為Sigmoid激活函數,為由所述特征向量和所述特征向量組成的向量組的第二相似度;所述損失函數包括: ; ; ;其中,為一個樣本對,為相似的樣本對的集合,為不相似的樣本對的集合,為樣本對的平均值,為樣本對的第一相似度,為損失函數,為預設邊界值,最大值函數,為第一個中間損失函數,為第二個中間損失函數,和分別為預設的權重值。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中南大學,其通訊地址為:410083 湖南省長沙市岳麓區麓山南路932號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。