買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜南京大學申請的專利一種面向交通設施巡檢的視覺缺陷在線檢測方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114549401B 。

龍圖騰網通過國家知識產權局官網在2025-05-27發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210001738.4，技術領域涉及：G06T7/00；該發明授權一種面向交通設施巡檢的視覺缺陷在線檢測方法是由孫正興;張勝;朱毅歡;張巍設計研發完成，并于2022-01-04向國家知識產權局提交的專利申請。

本一種面向交通設施巡檢的視覺缺陷在線檢測方法在說明書摘要公布了：本發明公開了一種面向交通設施巡檢的視覺缺陷在線檢測方法，包括離線訓練和在線巡檢兩部分。離線訓練時采用帶有包圍框和類別標注的缺陷數據集作為訓練數據，訓練CrackDet檢測模型，結合深度學習算法和傳統算法的優勢；同時裁剪出不同種類的缺陷圖像塊，使用度量學習模型進行訓練。在線巡檢時，對于輸入的視頻幀，使用檢測模型檢測得到缺陷類別和位置；使用卡爾曼濾波器計算檢測框的運動特征；使用度量學習模型計算缺陷的外觀特征；對檢測到的缺陷進行跟蹤并統計；根據跟蹤軌跡中檢測得到的類別進行投票確定其缺陷種類；最終實現在線巡檢，得到交通設施巡檢時所出現的缺陷的種類、大小、位置以及數量。

本發明授權一種面向交通設施巡檢的視覺缺陷在線檢測方法在權利要求書中公布了：1.一種面向交通設施巡檢的視覺缺陷在線檢測方法，其特征在于，包括以下步驟：步驟1，離線訓練得到缺陷檢測模型：構建缺陷檢測模型和度量學習模型；使用缺陷數據集及標注訓練得到交通設施巡檢圖像中的缺陷的種類和位置；使用局部二值模式算子提取特征，以注意力機制形式將特征嵌入檢測模型，檢測圖像中的缺陷的種類和位置，將深度學習算法和局部二值模式算子進行融合，得到缺陷檢測模型；按照標注將缺陷圖像塊進行剪切，使用剪切后的不同種類的缺陷圖像塊及標注，訓練度量學習模型，用以提取缺陷的外觀特征；步驟2，缺陷的在線巡檢：對于輸入的視頻幀，使用步驟1中訓練后的缺陷檢測模型檢測缺陷；依據缺陷的運動特征和度量學習模型得到的外觀特征進行缺陷軌跡的匹配和更新；統計得到實時巡檢結果；其中，步驟1包括以下步驟：步驟1-1，訓練缺陷檢測模型：改進缺陷檢測模型，將通用目標檢測的物體定義為高層次的抽象概念，高層次的抽象概念重語義信息、輕紋理信息、局部和整體的關系明確并有明確的語義邊界；將視覺缺陷定義為低層次的抽象概念，低層次的抽象概念輕語義信息、重紋理信息且沒有明確的語義邊界；增強底層特征在最后檢測特征圖中的占比；使用密集連接將底層特征復用，使用局部二值模式算子提取特征，以注意力機制嵌入深度網絡中，并融合深度學習算法和局部二值模式算子；使用K均值聚類算法聚類錨框尺寸，加入馬賽克數據增強，改進損失函數，使用缺陷數據集及其標注訓練改進后的缺陷檢測模型，檢測得到輸入圖像中的缺陷的種類和位置；步驟1-2，剪切數據集中的缺陷得到缺陷圖像塊：依據數據集中的缺陷標注將圖像中的缺陷剪切下來，附上類別標簽作為度量學習模型的訓練數據集；步驟1-3，訓練度量學習模型：使用步驟1-2得到的訓練數據集訓練度量學習模型，去掉最后的分類層后，將該模型作為外觀特征提取器；步驟2包括以下步驟：步驟2-1，缺陷檢測：使用步驟1中訓練完成后的檢測模型對巡檢過程中的視頻幀進行檢測，獲取其中所有缺陷的位置、標簽與置信度；其中缺陷位置是一個矩形包圍框，表示缺陷在圖像中的位置；缺陷標簽是一個字符串，表示缺陷類別；缺陷置信度是一個0到1范圍的小數，是由檢測模型得到的對于該檢測結果的確信程度；步驟2-2，計算檢測到缺陷的外觀特征：使用步驟2-1中檢測到的缺陷位置在輸入視頻幀進行裁剪，得到檢測到的裁剪缺陷圖像塊，使用步驟1中的訓練的度量學習模型對裁剪的缺陷圖像塊進行計算，獲取缺陷的外觀特征；步驟2-3，缺陷運動特征計算：對已經跟蹤到的缺陷軌跡使用卡爾曼濾波進行運動預測；根據前一個時刻的運動信息來預測當前時刻的運動信息，得到該軌跡的預測運動特征；步驟2-4，軌跡匹配：通過步驟2-2和步驟2-3得到的外觀特征和卡爾曼濾波預測的運動特征對跟蹤軌跡和檢測結果進行匹配；使用馬氏距離來評估跟蹤軌跡和檢測結果的運動匹配度；同時計算跟蹤軌跡和檢測結果的外觀特征的最小余弦距離；融合上述兩個特征作為匹配的代價矩陣，使用匈牙利算法進行級聯匹配；用僅有一幀匹配的軌跡計算與檢測結果的交并比距離進行匈牙利算法的匹配，得到最終的匹配結果；步驟2-5，更新軌跡的狀態：對于匹配成功的軌跡，使用其對應的檢測結果進行卡爾曼濾波的更新，對于未匹配成功的軌跡，將其標記為丟失，對于沒有匹配成功的檢測結果，將其初始化為新的軌跡段；步驟2-6，統計輸出：對實時輸入的視頻幀，根據每個軌跡中占多數的缺陷類別來確定整個軌跡的缺陷類型，統計當前出現的軌跡段種類以及數量，輸出當前視頻到目前已經出現的所有缺陷的種類以及數量；步驟2-3中，缺陷運動特征計算如下：每個缺陷軌跡有兩個狀態，均值和協方差；均值表示目標的位置信息，由包圍框的中心坐標cx,cy，寬高比r，高h，以及各自的速度變化值組成8維向量，表示為x＝[cx,cy,r,h,vx,vy,vr,vh]，其中vx為x軸速度變化值，vy為y軸速度變化值，vr為寬高比速度變化值，vh為高度速度變化值，各個速度值初始化為0；協方差矩陣則表示目標位置的不確定性；在進行運動預測時，每個缺陷軌跡根據其前一個時刻的狀態來預測下一個時刻的狀態：x′＝FxP′＝FPFT+Q其中，x是軌跡在前一時刻的均值，F是狀態轉移矩陣，x′是預測時刻的均值，所述均值預測是一個勻速模型，其中，F為： P為軌跡在前一時刻的協方差矩陣，Q為系統的噪聲矩陣，代表整個系統的可靠程度，P′為預測時刻的協方差矩陣，dt為時間變化量；步驟2-4中，通過步驟2-2和步驟2-3得到的外觀特征和卡爾曼濾波預測的運動特征，對跟蹤軌跡和檢測結果進行匹配；使用馬氏距離來評估跟蹤軌跡和檢測結果的運動匹配度： 其中，d1i,j表示第j個檢測結果和第i個軌跡之間的運動匹配度，zj是第j個檢測結果的運動狀態，xi是第i個軌跡當前時刻的預測的運動均值向量，Pi是第i個軌跡當前時刻預測空間的運動信息的協方差矩陣；計算第i個軌跡和第j個檢測結果的外觀特征的最小余弦距離： 其中，d2i,j表示第j個檢測結果和第i個軌跡之間的余弦距離，rj是第j個檢測結果的外觀特征，Ri為第i個軌跡中存下的外觀特征集合，接著，將這兩個特征融合為：ci,j＝λd1i,j+1-λd2i,j其中，ci,j表示第j個檢測結果和第i個軌跡之間的匹配代價，λ是平衡系數；根據軌跡和檢測結果的匹配代價矩陣進行匹配過程：首先是級聯匹配，級聯匹配優先對最近出現的軌跡使用匈牙利算法進行匹配，得到初步的匹配結果；然后是交并比匹配，將只有一幀匹配的軌跡段作為候選者，計算其與剩余未匹配的檢測結果之間的交并比距離；再次使用匈牙利算法進行匹配，得到最終的匹配結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南京大學，其通訊地址為：210046 江蘇省南京市棲霞區仙林大道163號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。