買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜成都理工大學申請的專利RGB-D多模態語義分割方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116597135B 。

龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202310283961.7，技術領域涉及：G06V10/26；該發明授權RGB-D多模態語義分割方法是由陳光柱;茹青君;左汀玉設計研發完成，并于2023-03-22向國家知識產權局提交的專利申請。

本RGB-D多模態語義分割方法在說明書摘要公布了：本發明針對RGB?D語義分割中存在的多尺度問題和實時問題，提出了RGB?D多模態語義分割方法。通過交換彩色圖特征和深度圖特征的查詢向量，設計了自注意力多模態信息交互模塊，實現了跨模態信息交互；并在此基礎上設計了多模態通道注意力校正模塊和多模態全局特征聚合模塊。在主干網絡對彩色圖和深度圖進行下采樣后，多模態通道注意力校正模塊在通道維度實現特征矯正，然后多模態全局特征聚合模塊將矯正后的特征在空間維度實現特征聚合，最后輸入特征金字塔解碼器模塊以進行最終的語義預測。本發明的有益效果是：有效解決不同場景中目標尺度差異大的問題、有效提升RGB?D語義分割精度、可以同時保證RGB?D語義分割的準確度和實時性的要求。

本發明授權RGB-D多模態語義分割方法在權利要求書中公布了：1.RGB-D多模態語義分割方法，其特征在于，包括如下步驟：S1.設計自注意力多模態信息交互模塊：所述自注意力多模態信息交互模塊主要用于在通道維度和空間維度兩個維度上實現彩色圖和深度圖之間的多模態信息交互；S2.建立RGB-D多模態語義分割模型：所述RGB-D多模態語義分割模型包括雙流特征提取主干網絡、多模態通道注意力校正模塊、多模態全局特征聚合模塊和特征金字塔解碼器模塊；所述雙流特征提取主干網絡用于將彩色圖和深度圖兩種模態分別進行特征提取，生成不同尺寸的特征圖，并在每次下采樣后將特征傳入四個多模態通道注意力校正模塊；所述多模態通道注意力校正模塊對所述雙流特征提取主干網絡提取到的彩色特征和深度特征在通道維度進行特征校正，并將校正后的特征傳入多模態全局特征聚合模塊，首先將彩色特征和深度特征通過不同大小的池化操作進行下采樣，將池化結果展平后沿著第二個維度進行拼接，得到多尺度彩色特征和多尺度深度特征，然后通過全連接層將維度映射到更高的維度中，得到向量化的彩色特征和深度特征，將向量化的彩色特征和深度特征分別添加可學習的模態編碼后傳入Transformer模塊中進行全局注意力建模；所述多模態全局特征聚合模塊對多模態通道注意力校正模塊輸出的校正后的彩色特征和深度特征空間維度上進行特征聚合，首先在特征圖中嵌入位置信息和模態信息，通過一個卷積核大小為3×3，步長為1×1，填充大小為1×1的深度可分離卷積來引入位置信息，再通過殘差連接與輸入的特征進行對應相加，除了位置編碼之外，還添加了可學習的模態編碼，得到帶有位置信息和模態信息的彩色特征和深度特征，然后通過所述自注意力多模態信息交互模塊進行空間維度的信息交互，并與輸入進行殘差連接，同時引入空間縮減模塊，通過鍵向量和值向量的共享機制來減小計算量，之后通過層歸一化獲得空間信息交互后的彩色特征和深度特征，最后通過一個1×1的卷積來將兩種模態的特征圖融合為一個單一特征圖，此外，為了提升模型魯棒性，將原始的特征圖通過一個大小為3×3的深度可分離卷積獲取局部特征，并通過殘差連接與全局特征進行融合，再通過批歸一化層獲得最終的輸出；S3.進行RGB-D多模態語義分割模型訓練：將彩色圖、深度圖和語義分割真實標簽輸入所述RGB-D多模態語義分割模型進行訓練，得到訓練后的RGB-D多模態語義分割模型。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人成都理工大學，其通訊地址為：610000 四川省成都市二仙橋東三路1號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。