買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜無錫學院申請的專利一種模態缺失條件下多模態遙感圖像融合分類方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119580101B 。

龍圖騰網通過國家知識產權局官網在2025-05-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510130910.X，技術領域涉及：G06V20/10；該發明授權一種模態缺失條件下多模態遙感圖像融合分類方法是由魏建芬;張力予設計研發完成，并于2025-02-06向國家知識產權局提交的專利申請。

本一種模態缺失條件下多模態遙感圖像融合分類方法在說明書摘要公布了：本發明公開了一種模態缺失條件下多模態遙感圖像融合分類方法，通過構建多模態遙感圖模型像融合分類模型，以三種遙感圖像模態的數據作為輸入，每種模態數據先通過各自的特定特征編碼器和一個共享特征編碼器進行特征提取，然后將特定特征和共享特征融合，并采用跳躍鏈接生成單模態融合特征，最后，將三個模態的融合特征再次融合，生成最終的融合特征用于模型預測。本發明在模型中引入了兩個輔助任務，一個是基于特定特征的域分類任務，另一個是針對共享特征的對比學習任務。本發明模型不僅適用于全模態訓練，在部分模態缺失的情況下，依然有效提取和融合多模態特征，提升模型的分類性能。

本發明授權一種模態缺失條件下多模態遙感圖像融合分類方法在權利要求書中公布了：1.一種模態缺失條件下多模態遙感圖像融合分類方法，其特征在于，用特定編碼器提取各模態特定特征和用共享編碼器提取模態間共享特征，同時用兩個輔助任務分別學習特定特征和共享特征，包括以下步驟：S1、獲取覆蓋相同區域的多模態數據構建多模態數據集并進行預處理，多模態數據集包括：高光譜圖像數據、DSM圖像數據以及SAR圖像數據三種圖像數據或者其中一至兩種圖像數據分別提取的若干真實像素，以及對應的分類標簽；S2、以高光譜圖像數據、DSM圖像數據以及SAR圖像數據三種圖像數據或者其中一至兩種圖像數據分別提取的若干真實像素分別為輸入，對應特定特征為輸出，構建特定特征編碼器；特定特征編碼器對高光譜圖像數據、DSM圖像數據以及SAR圖像數據三種圖像數據或者其中一至兩種圖像數據分別提取的若干真實像素提取特定特征，如下式： 其中，Xi表示高光譜圖像數據、DSM圖像數據或SAR圖像數據的像素，i∈{1,2,3}，fspecific代表特定特征編碼器；以高光譜圖像數據、DSM圖像數據以及SAR圖像數據三種圖像數據或者其中一至兩種圖像數據連接起來作為輸入，得到各自模態對應的共享特征為輸出，構建共享特征編碼器；共享特征編碼器對高光譜圖像數據、DSM圖像數據以及SAR圖像數據三種圖像數據或者其中一至兩種圖像數據提取各自模態對應的共享特征，如下式： 其中，Xi表示高光譜圖像數據、DSM圖像數據或SAR圖像數據像素，i∈{1,2,3}，fshared代表共享特征編碼器；S3、以特定特征、以及共享特征為輸入，最終特征為輸出，構建殘差融合模塊；具體包括以下子步驟：S3.1、殘差融合模塊對特定特征和共享特征在通道維度上進行拼接，并通過投影操作后，將其輸出作為殘差添加到共享特征中，形成更加語義豐富的模態嵌入fi如下表達式： 其中，fproj代表投影操作，若一種模態缺失，缺失的模態嵌入由其余存在模態的共享特征平均得到；S3.2、將得到的各模態的模態嵌入fi進行拼接形成最終的特征表示f；特定編碼器和共享編碼器的構建部分是相同的，均首先由三個3×3卷積塊提取局部特征，每個卷積包含卷積層、批量歸一化層和ReLU激活函數，使用多種不同尺寸的卷積操作，包含1×1卷積、3×3卷積和全局平均池化來進一步提取多尺度特征，捕捉多層次空間信息，最后，通過1×1卷積和池化操作對特征進行降維，并通過拼接不同卷積分支的特征來增強最終的表征能力；S4、以最終特征為輸入、對應的分類標簽為輸出構建預測模塊；S5、基于步驟S1至步驟S4的特定特征編碼器、共享特征編碼器、殘差融合模塊、以及預測模塊構建多模態遙感圖像融合分類網絡，以步驟S1的多模態數據集訓練多模態遙感圖像融合分類網絡，獲得多模態遙感圖模型像融合分類模型；在訓練多模態遙感圖像融合分類網絡時，進行總損失優化，包括利用對比損失函數最小化不同模態同一位置對相似特征之間的距離，最大化不同位置對特征之間的差異；利用域分類損失函數輔助特定特征的學習；利用主分類任務損失函數指導預測結果；S6、將采集的高光譜圖像數據、DSM圖像數據、以及SAR圖像數據中三種或者一至兩種數據輸入至多模態遙感圖模型像融合分類模型，獲得分類標簽，即地形的分類結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人無錫學院，其通訊地址為：214105 江蘇省無錫市錫山區錫山大道333號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。