買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中國科學技術大學申請的專利一種大模型增強的跨模態檢索方法、系統及相關設備獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119719451B 。

龍圖騰網通過國家知識產權局官網在2025-05-27發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510220410.5，技術領域涉及：G06F16/907；該發明授權一種大模型增強的跨模態檢索方法、系統及相關設備是由何向南;宋方舟;郝艷賓;王碩設計研發完成，并于2025-02-27向國家知識產權局提交的專利申請。

本一種大模型增強的跨模態檢索方法、系統及相關設備在說明書摘要公布了：本發明公開了一種大模型增強的跨模態檢索方法、系統及相關設備，所述跨模態檢索方法包括：獲取圖像?文本對；基于所述圖像?文本對，獲取圖像?文本對的大模型增強信息，結合原始圖像、文本和增強信息，采用預訓練CLIP模型的多分支編碼器以得到多個特征向量，構建多級協同對齊損失函數，在公共語義空間對圖像模態和文本模態進行協同對齊；通過所述多級協同對齊損失函數以及預構建的訓練數據庫對模型進行訓練，通過訓練后的模型進行檢索。本發明通過對編碼器得到的圖文特征進行協同學習，通過加入輔助的語義增強信息，在公共語義空間對圖像模態和文本模態進行協同對齊，以訓練出更好的檢索網絡從而提升圖像?文本檢索的準確性。

本發明授權一種大模型增強的跨模態檢索方法、系統及相關設備在權利要求書中公布了：1.一種大模型增強的跨模態檢索方法，其特征在于，所述跨模態檢索方法包括：獲取圖像-文本對；基于圖像-文本對，獲取圖像-文本對的大模型增強信息，包括使用SAM分割模型對圖像進行細粒度語義分割，選出其中的語義實體；使用大語言模型獲取文本的總結摘要，提取關鍵的語義片段；結合原始圖像、文本和增強信息，采用預訓練CLIP模型的多分支編碼器以得到多個特征向量，多個特征向量包括圖像特征、文本特征、細粒度圖像實體特征和文本摘要特征；預訓練CLIP模型的多分支編碼器構建包括：在CLIP模型的文本編碼器以及圖像編碼器中的Transformer結構中加入適配層；適配層通過下采樣投影和上采樣投影以及一個殘差連接得到；依據帶適配層的CLIP模型的編碼器，構建不同輸入信息的特征編碼器；特征編碼器包括圖像編碼器、文本編碼器、實例編碼器以及文本摘要編碼器；構建多級協同對齊損失函數，在公共語義空間對圖像模態和文本模態進行協同對齊，包括：將匹配的圖像和文本定義為正樣本對，不匹配的定義為負樣本對，采用余弦相似度作為衡量樣本對間關系的標準；利用圓環損失函數拉大正樣本對間的相似度，減小負樣本對間的相似度；基于多個特征向量構建對齊損失，對齊損失包括圖像和文本間的語義對齊損失、文本與圖像細粒度分割間的語義對齊損失、圖像和文本摘要間的語義對齊損失和長文本內部的語義對齊損失；將對齊損失加權求和得到多級協同對齊損失函數；通過多級協同對齊損失函數以及預構建的訓練數據庫對模型進行訓練，通過訓練后的模型進行檢索。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國科學技術大學，其通訊地址為：230026 安徽省合肥市包河區金寨路96號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。