買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜江南大學申請的專利一種基于深度辨識度遷移的跨模態檢索方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN113536015B 。

龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202110754834.1，技術領域涉及：G06F16/583；該發明授權一種基于深度辨識度遷移的跨模態檢索方法是由陳瑩;代瑾;化春鍵;李祥明;胡蒙;裴佩設計研發完成，并于2021-07-02向國家知識產權局提交的專利申請。

本一種基于深度辨識度遷移的跨模態檢索方法在說明書摘要公布了：本發明公開了一種基于深度辨識度遷移的跨模態檢索方法，屬于信息檢索技術領域。所述方法在學習不同模態數據公共表示特征的過程中，通過最小化解碼向量與文本原始特征間的重建損失增強文本公共表示特征的語義辨識度，同時通過權重共享層的模態不變損失和樣本相關性損失將文本公共表示特征的語義高辨識度遷移到圖片公共表示特征，從而為各模態數據習得高語義辨識度的公共表示特征，進而提升了檢索性能。

本發明授權一種基于深度辨識度遷移的跨模態檢索方法在權利要求書中公布了：1.一種基于深度辨識度遷移的跨模態檢索方法，其特征在于，所述方法包括：步驟S1，構建深度辨識度遷移網絡，所述深度辨識度遷移網絡包括原始多模態特征提取模塊、文本辨識度遷移模塊以及文本辨識度增強模塊，各模塊依次連接；步驟S2，采用公共數據集訓練所構建的深度辨識度遷移網絡，所述公共數據集包含n個圖片文本對；步驟S3，利用訓練好的深度辨識度遷移網絡獲得待檢索圖片或文本的最優公共表示特征，并采用余弦距離度量待檢索圖片或文本的最優公共表示特征與數據庫中各圖片或文本的公共表示特征間的距離，得到相似度矩陣，根據相似度矩陣輸出相應的跨模態檢索結果；所述方法在訓練所構建的深度辨識度遷移網絡時，首先提取公共數據集中圖片的原始特征和文本的原始特征，并根據圖片的原始特征和文本的原始特征分別學習對應圖片公共表示特征U＝[u1,u2,…un]和文本公共表示特征V＝[v1,v2,…vn]；然后設定語義約束函數J3和重構損失函數J4對文本公共表示特征V的語義辨識度進行增強；設定模態不變損失函數J1和樣本相關性損失函數J2將增強后的文本公共表示特征的語義高辨識度遷移到了圖片公共表示特征，增強圖片公共表示特征的語義辨識度，訓練過程中最小化總目標函數J并采用Adam模型進行參數更新，不斷迭代從而得到訓練好的的深度辨識度遷移網絡，所述總目標函數J由模態不變損失函數J1、樣本相關性損失函數J2、語義約束函數J3和重構損失函數J4共同構成；其中ui表示圖片i的公共表示特征向量，vj表示文本j的公共表示特征向量，i＝1,2,……,n；j＝1,2,……,n；所述原始多模態特征提取模塊由兩個對稱特征提取部分構成，分別用于提取圖片和文本的原始特征，得到圖片原始特征矩陣Hα和文本原始特征矩陣Hβ；所述文本辨識度遷移模塊由圖片公共表示特征學習模塊和文本公共表示特征學習模塊組成；二者均由兩個激活函數為ReLU的全連接層組成，且二者的最后一層全連接層共享權重，稱為共享權重層；所述文本辨識度增強模塊由文本公共表示特征的線性分類器與文本公共表示特征的解碼模塊組成；其中文本公共表示特征的線性分類器為一層全連接，文本公共表示特征的解碼模塊包含兩層激活函數為ReLU的全連接；所述方法在得到圖片原始特征矩陣Hα和文本原始特征矩陣Hβ后，還包括：在共享權重層定義模態不變損失函數J1和樣本相關性損失函數J2； 其中，||·||F表示F范數； 其中，表示圖片i的公共表示特征和文本j的公共表示特征之間的余弦相似度，ui表示圖片i的公共表示特征向量，vj表示文本j的公共表示特征向量；表示圖片i的公共表示特征和圖片j的公共表示特征之間的余弦相似度，表示文本i的公共表示特征和文本j的公共表示特征之間的余弦相似度，1{·}為指示函數；將圖片原始特征矩陣Hα和文本原始特征矩陣Hβ送入文本辨識度遷移模塊獲得對應的圖片公共表示特征U和文本公共表示特征V；所述方法還包括：利用所述線性分類器預測公共子空間的文本公共表示特征的語義類別，并增加語義約束函數J3： 其中，PTV為文本模態樣本生成的預測類別向量，Y為真實類別標簽；文本公共表示特征的解碼模塊通過一個欠完備自編碼器對文本公共表示特征V中的每一個文本公共表示特征vi進行解碼，得到對應的文本解碼特征進而得到文本解碼特征矩陣定義重構損失函數J4，利用重構損失函數J4最小化文本解碼特征向量與文本原始特征向量之間的距離： 設定深度辨識度遷移的跨模態檢索方法的總目標函數為：J＝λ1J1+λ2J2+λ3J3+λ4J4其中，λ1、λ2、λ3、λ4是平衡超參，分別表示模態不變損失、樣本相關性損失、文本語義損失以及文本解碼特征重構損失的重要程度；最小化網絡總目標函數J并采用Adam模型進行參數更新，不斷迭代從而得到訓練好的的深度辨識度遷移網絡；其中線性分類器的更新公式為P＝VVT-1VTY。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人江南大學，其通訊地址為：214000 江蘇省無錫市濱湖區蠡湖大道1800號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。