恭喜中國傳媒大學楊盈昀獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜中國傳媒大學申請的專利基于跨粒度自蒸餾的視頻-文本跨模態檢索方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114548293B 。
龍圖騰網通過國家知識產權局官網在2025-05-13發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210174138.8,技術領域涉及:G06F18/22;該發明授權基于跨粒度自蒸餾的視頻-文本跨模態檢索方法是由楊盈昀;王家宸;花妍設計研發完成,并于2022-02-24向國家知識產權局提交的專利申請。
本基于跨粒度自蒸餾的視頻-文本跨模態檢索方法在說明書摘要公布了:本發明公開了基于跨粒度自蒸餾的視頻?文本跨模態檢索方法。該方法旨在通過細粒度交互相似度提供偽標簽,解決跨模態對比學習中二元標簽不夠平滑,不符合真實情況的問題。該方法首先設計了一個篩選模塊,為各模態篩選一部分關鍵tokens,用于計算token級細粒度相似度。接著以此細粒度相似度作為軟標簽,結合對比損失,聯合優化各模態編碼器。本方法在訓練階段時引入跨粒度自蒸餾來改善對比學習標簽的天然缺陷,但在檢索時并不會有額外的計算消耗,因此是一種高效的方法。
本發明授權基于跨粒度自蒸餾的視頻-文本跨模態檢索方法在權利要求書中公布了:1.基于跨粒度自蒸餾的視頻-文本跨模態檢索方法,包括如下步驟:步驟1、將不同模態的輸入經過基于Transformer的各模態編碼器,得到一系列特征向量;步驟2、對各模態編碼器產生的特征序列進行平均池化,得到各模態的粗粒度表示特征;推理時,直接使用該表示特征進行向量檢索;訓練時,使用此表示特征在大小為b的mini-batch內計算任意兩個樣本的跨模態相似度sTi,Vj,從而構成粗粒度的相似度矩陣并通過交叉熵計算InfoNCE損失步驟3、該步驟僅在訓練時執行;通過tokens篩選模塊,為各模態選出一部分“更重要”的tokens,再通過這些關鍵tokens間的細粒度交互產生任意兩個樣本的跨模態相似度偽標簽st2vTi,Vj和sv2tVj,Ti,并通過KL散度計算跨粒度自蒸餾損失步驟4、該步驟僅在訓練時執行;通過超參數λ計算最終損失基于此損失對網絡進行迭代優化。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國傳媒大學,其通訊地址為:100024 北京市朝陽區定福莊東街1號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。