恭喜武漢大學鄒勤獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜武漢大學申請的專利基于多模態大模型的表觀缺陷檢測方法及系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119762485B 。
龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510258419.5,技術領域涉及:G06T7/00;該發明授權基于多模態大模型的表觀缺陷檢測方法及系統是由鄒勤;趙守璽;毛慶洲;余招勇;李清泉設計研發完成,并于2025-03-06向國家知識產權局提交的專利申請。
本基于多模態大模型的表觀缺陷檢測方法及系統在說明書摘要公布了:本發明公開了一種基于多模態大模型的表觀缺陷檢測方法及系統。首先,設計提示詞,利用GPT?4V自動標注缺陷圖像來構建缺陷圖像?掩膜?文字描述數據集;其次,利用此數據集微調預訓練的大語言骨干網絡,使其能更好地理解缺陷檢測任務;然后,針對編碼器各層視覺特征,設計了一種多視覺尺度token組機制,再利用輕量級掩膜解碼器輸出缺陷檢測結果;最后,結合大語言骨干網絡的文字描述輸出,設計了一種結合缺陷檢測掩膜和缺陷文字描述的缺陷檢測算法,大幅提高了工業生產環境中的缺陷檢測準確率。
本發明授權基于多模態大模型的表觀缺陷檢測方法及系統在權利要求書中公布了:1.基于多模態大模型的表觀缺陷檢測方法,其特征在于,包括以下步驟:標注訓練數據集,所述訓練數據集中包含缺陷圖像、缺陷圖像對應的掩膜和文字描述;對缺陷圖像進行編碼,提取視覺特征,并為編碼器分配L×N個token,其中L表示視覺尺度的數量,N表示每個視覺尺度所分配的token數量;將編碼后的視覺特征對齊到語言特征空間;利用大語言骨干網絡,訓練時,輸入缺陷圖像的文字描述、多尺度token組和對齊到語言特征空間的視覺特征,處理后得到語言類型token和視覺類型token,并將語言類型token解碼為缺陷圖像的文字描述和評估;將視覺類型token對齊到視覺特征空間;對編碼后的視覺特征與對齊后的視覺類型token進行解碼,得到最終的檢測掩膜圖;對編碼器、語言特征對齊視覺特征、大語言骨干網絡、視覺特征對齊語言特征、解碼器組成的多模態大模型進行訓練,并利用訓練好的多模態大模型進行缺陷檢測;所述多模態大模型進行訓練時,采用以下損失: =+其中,表示自回歸交叉熵損失,和為超參數; =-Y={}為數據集中真實的文字標簽序列,為在已知真實文字標簽序列Y的基礎上預測當前時刻標簽的概率; = 表示逐像素二元交叉熵損失,H、W分別表示mask的高度和寬度,表示預測的掩膜圖中第i個像素的二進制值,表示數據集中的地面真相掩膜。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人武漢大學,其通訊地址為:430072 湖北省武漢市武昌區八一路299號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。