買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜北京智眸科技發展有限公司申請的專利一種基于多模態圖像的多任務缺陷分割方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN118887244B 。

龍圖騰網通過國家知識產權局官網在2025-05-09發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411377670.5，技術領域涉及：G06T7/11；該發明授權一種基于多模態圖像的多任務缺陷分割方法及系統是由劉旭;劉強強;牟宏磊;蒙洋;劉晶晶設計研發完成，并于2024-09-30向國家知識產權局提交的專利申請。

本一種基于多模態圖像的多任務缺陷分割方法及系統在說明書摘要公布了：本申請提供一種基于多模態圖像的多任務缺陷分割方法及系統。其中，根據多模態圖像數據構建多模態特征融合網絡；利用所述多模態特征融合網絡的不同分支處理不同模態的圖像數據，并通過特征變換器將不同模態的圖像數據對應的特征向量映射至統一特征域，以形成融合特征；基于所述融合特征，構建多任務分割網絡，并通過包含已標注缺陷位置的多模態圖像數據所構建的訓練集對所述多任務分割網絡進行訓練；利用訓練完成的多任務分割網絡對獲取的目標多模態圖像進行分割，以輸出所述目標多模態圖像中每個像素所屬的缺陷類別以及對應的置信度。本申請提供的技術方案能夠有效提高缺陷檢測效率。

本發明授權一種基于多模態圖像的多任務缺陷分割方法及系統在權利要求書中公布了：1.一種基于多模態圖像的多任務缺陷分割方法，其特征在于，包括：根據多模態圖像數據構建多模態特征融合網絡；利用所述多模態特征融合網絡的不同分支處理不同模態的圖像數據，并通過特征變換器將不同模態的圖像數據對應的特征向量映射至統一特征域，以形成融合特征；基于所述融合特征，構建多任務分割網絡，并通過包含已標注缺陷位置的多模態圖像數據所構建的訓練集對所述多任務分割網絡進行訓練，其中，所述多任務分割網絡用以同時執行多個分割任務，所述多個分割任務包括表面缺陷分割、內部缺陷分割、邊緣檢測；利用訓練完成的多任務分割網絡對獲取的目標多模態圖像進行分割，以輸出所述目標多模態圖像中每個像素所屬的缺陷類別以及對應的置信度，所述置信度是指多任務分割網絡對目標多模態圖像中每個像素所屬的缺陷類別預測結果的確定程度；所述根據多模態圖像數據構建多模態特征融合網絡，包括：設計多模態特征提取器，所述多模態特征提取器包含多個分支，每個分支用于處理不同模態的圖像數據；通過每個分支的深度卷積神經網絡提取對應模態的圖像數據中的特征向量，并在每個分支中引入自適應注意力機制，以增強從所述多模態圖像數據中提取的特征向量；基于不同模態的圖像數據所提取到的特征向量以構建多模態特征融合網絡；所述基于所述融合特征，構建多任務分割網絡，包括：設計多頭分割架構，所述多頭分割架構包含多個分割頭，每個分割頭用于處理對應的分割任務；通過每個分割頭內部的至少一個卷積層對所述融合特征進行細化出庫，以生成分割掩碼；基于所述分割掩碼，構建多任務分割網絡；所述通過包含已標注缺陷位置的多模態圖像數據所構建的訓練集對所述多任務分割網絡進行訓練，包括：使用在大型通用數據集上預先訓練的模型參數來初始化所述多任務分割網絡的初始參數值；對于訓練集中每一個包含已標注缺陷位置的多模態圖像數據，分別計算每個分割任務對應的損失值，并依據預設的多任務損失函數及各個分割任務的損失值，計算出所述多任務分割網絡的總損失值；基于所述總損失值，動態調整每個分割任務的權重，以優化所述多任務分割網絡在各個分割任務上的表現；通過反向傳播算法，根據調整后的任務權重和所述總損失值更新所述多任務分割網絡的初始參數值，以完成對所述多任務分割網絡的訓練；所述依據預設的多任務損失函數及各個分割任務的損失值，計算出所述多任務分割網絡的總損失值，包括：通過以下公式計算所述多任務分割網絡的總損失值： ；其中，表示為總損失值，表示第個分割任務的損失值，表示第個分割任務的權重系數，表示調整任務間損失平方和的系數，表示調整任務間損失指數和的系數,表示的是多任務分割網絡中不同分割任務的數量；所述方法還包括：在所述多任務損失函數中加入任務間協調項，其中，所述任務間協調項定義為： ；其中，表示任務間協調項，表示分割任務的損失值和分割任務的損失值之間的相關性，表示權重系數，用于調整任務間均值差異的影響程度，表示分割任務的損失值的均值，表示分割任務的損失值的均值；其中，所述相關性通過皮爾遜相關系數確定，，表示分割任務在樣本上的損失值，表示分割任務在樣本上的損失值，表示分割任務的損失值的平均值，表示分割任務的損失值的平均值，表示樣本數量；則調整后的多任務損失函數表示為： ；其中，表示調整后的多任務損失函數,是任務間協調項的權重系數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京智眸科技發展有限公司，其通訊地址為：100088 北京市海淀區知春路17號商業、車庫二層044；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。