買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜之江實驗室申請的專利基于跨模態對齊和原型多樣化的連續小樣本圖片分類方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119152294B 。

龍圖騰網通過國家知識產權局官網在2025-04-04發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411645184.7，技術領域涉及：G06V10/764；該發明授權基于跨模態對齊和原型多樣化的連續小樣本圖片分類方法是由李亞南;何林圃;林峰;王東輝設計研發完成，并于2024-11-18向國家知識產權局提交的專利申請。

本基于跨模態對齊和原型多樣化的連續小樣本圖片分類方法在說明書摘要公布了：本發明公開了一種基于跨模態對齊和原型多樣化的連續小樣本圖片分類方法，該方法包括：首先對輸入圖片添加視覺軟提示提取圖片特征，并將圖片特征輸入特征適配器獲取優化后的圖片特征，同時對類別標簽添加文本軟提示提取初步的類別文本原型；其次，將優化后的圖片特征輸入原型偏置器，對類別文本原型進行調整，從而獲得融入視覺信息的類別文本原型；最后計算上述類別文本原型與圖片特征之間的相似度，并將該輸入圖片預測為具有最大相似度的類別。本發明能夠捕捉輸入特異的視覺信息進行文本原型更正，有利于提升輸入圖片的分類精度；本發明實現方法簡便、靈活，顯著提高了新類別的預測精度，同時可以有效緩解模型在舊類別的災難性遺忘現象。

本發明授權基于跨模態對齊和原型多樣化的連續小樣本圖片分類方法在權利要求書中公布了：1.一種基于跨模態對齊和原型多樣化的連續小樣本圖片分類方法，其特征在于，包括以下步驟：1構造多模態對齊網絡以提取對齊的圖片特征和類別文本原型；其中，所述多模態對齊網絡包括視覺軟提示、圖片編碼器、文本軟提示、文本編碼器和特征適配器；所述步驟1包括以下子步驟：1.1使用開源的預訓練好的對比語言-圖像預訓練大模型對圖片編碼器和文本編碼器進行初始化；1.2構造視覺軟提示向量，將視覺軟提示向量與輸入圖片進行拼接，以獲取拼接后的特征向量，將拼接后的特征向量輸入到圖片編碼器中，得到對應的圖片特征；1.3將步驟1.2得到的圖片特征輸入到特征適配器中，得到適配的圖片特征，適配的圖片特征再與步驟1.2得到的圖片特征進行線性組合，得到對齊的圖片特征；1.4構造文本軟提示向量，將文本軟提示向量與類別標簽進行拼接，以獲取拼接后的類別文本向量，將拼接后的類別文本向量輸入到文本編碼器中，得到對應的類別標簽特征，也被稱為類別文本原型；2構造原型偏置器，將步驟1得到的對齊的圖片特征輸入到構造的原型偏置器中，得到類別原型的視覺偏置向量，采用類別原型的視覺偏置向量對步驟1得到的類別文本原型進行更正，以獲取更正后的類別文本原型；3計算步驟1得到的對齊的圖片特征與步驟2得到的更正后的所有類別文本原型之間的余弦相似度及其概率值；4使用當前任務的有標簽訓練數據進行迭代訓練，訓練過程中固定圖片編碼器和文本編碼器的參數，基于步驟3得到的概率值計算交叉熵損失函數，以最小化交叉熵損失函數為優化目標，調整視覺軟提示、文本軟提示、特征適配器和原型偏置器中的參數，以獲取訓練好的視覺軟提示、文本軟提示、特征適配器和原型偏置器；5給定待測試圖片，利用訓練好的視覺軟提示、文本軟提示、特征適配器和原型偏置器以及圖片編碼器和文本編碼器，重復步驟1-步驟3，計算該待測試圖片與所有類別標簽之間的概率值，選取最大概率值對應的類別標簽，作為當前待測試圖片的最終類別標簽。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人之江實驗室，其通訊地址為：311121 浙江省杭州市余杭區中泰街道科創大道之江實驗室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。