恭喜西安電子科技大學;陜西理工大學王蘭美獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜西安電子科技大學;陜西理工大學申請的專利一種跨層融合改進的YOLOv4道路目標識別算法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114565896B 。
龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210006574.4,技術領域涉及:G06V20/54;該發明授權一種跨層融合改進的YOLOv4道路目標識別算法是由王蘭美;王翔宇;王桂寶;廖桂生;王新寬;孫長征設計研發完成,并于2022-01-05向國家知識產權局提交的專利申請。
本一種跨層融合改進的YOLOv4道路目標識別算法在說明書摘要公布了:本發明提出了一種跨層融合改進的YOLOv4道路目標識別算法,所用數據集是KITTI道路目標數據集,為了使模型能夠更加輕量化的同時還能保持檢測精度,本發明方法以YOLOv4為基礎網絡,借鑒DenseNet的思想,設計了Dense?SPP跨層空間池化模塊和Dense?特征融合模塊,并且對原始模型進行參數剪枝以及削減,設計了輕量化的Dense?YOLOv4?Small網絡模型,將骨架網絡CSPDarknet?53中CSP模塊進行削減,將原本CSP模塊中ResUnit的數量統一設置為1個,對網絡進行剪枝消除網絡的冗余計算,將KITTI道路目標數據集中的“Misc”和“Dontcare”剔除得到KITTI?7classes道路目標數據集,在該數據集上對YOLOv4、Dense?YOLOv4、Dense?YOLOv4?Small三個模型進行訓練,并對比三種模型的檢測速度和檢測性能;檢測結果表明Dense?YOLOv4?Small的檢測速度大幅度提升,檢測精度幾乎不變。
本發明授權一種跨層融合改進的YOLOv4道路目標識別算法在權利要求書中公布了:1.一種跨層融合改進的YOLOv4道路目標識別方法,基于KITTI通用數據集的道路目標識別,其特征在于:步驟一、下載當前目標檢測領域通用數據集KITTI道路目標數據集,剔除原始KITTI數據集中的“Misc”和“Dontcare”兩類數據,創建KITTI-7Classes道路目標數據集,使用該數據集可保證算法檢測效果與該領域公開的通用數據集保持一致,構建了使用的道路目標數據集;將測試集、驗證集與訓練集按照6:2:2的比例劃分;KITTI數據集是目前最大的自動駕駛場景下數據集;KITTI包含各種道路場景采集的真實圖像數據;KITTI數據集共包含九類,分別為Car,Van,Truck,Pedestrian,Personsitting,Cyclist,Tram,Misc和Dontcare;由于KITTI中有兩類為“Misc”和“Dontcare”,分別為“雜亂無章”類和“不關心的”類,這兩種類別是無意義的,并且由于這兩類沒有特定的目標特征,在不同的圖片中其“Misc”類包含的物體是不同的,對原始KITTI數據集中的“Misc”和“Dontcare”剔除,形成KITTI-7Classes數據集,將在KITTI-7Classes上進行訓練和測試;步驟二、使用標準YOLOv4網絡訓練并識別和定位道路目標;使用標準YOLOv4網絡對基于步驟一道路目標數據集進行訓練,下載標準YOLOv4網絡并進行編譯;為道路目標數據kitti-7classes更改cfg文件夾中kitti7.data文件中的訓練集、驗證集、測試集目錄為下載數據集的地址,指定類別數量與類別名稱,并將kitti7.name中的“Misc”和“Dontcare”條目刪除;在訓練執行的命令中根據精度要求設定迭代次數為100,根據本次實驗數據集加載kitti7.data,同時加載yolov4.cfg,程序即可開始訓練;保存訓練過程中各層的權重文件Q1,作為訓練結束后檢測的權值輸入文件;利用權重文件Q1進行測試,得到均值平均精度MeanAveragePrecision,mAP、召回率Recall與檢測時的幀率FramePerSecond,FPS;當目標占據整張圖片一半以上大小時,由于實際有效感受野的限制,網絡的檢測效果并不佳;訓練過程具體如下:1構建YOLOv4網絡模型,使用Initialization函數進行神經網絡各層權值參數的初始化;YOLOv4由四個部分組成,分別是:1Input輸入端:指輸入網絡原始樣本數據;2BackBone網絡:指進行特征提取操作的卷積神經網絡結構;3Neck頸部:對主干網絡提取的圖像特征進行融合,并將融合后的特征傳遞到預測層;4Head頭部:對圖像中的感興趣目標物體進行預測,并生成可視化的預測框與目標類別;下載標準YOLOv4網絡后,對YOLOv4網絡使用make命令進行編譯,形成可執行文件darknet;為道路目標數據集KITTI-7classes編輯cfg文件夾中kitti7.data文件,將class、train、valid、names字符串改為對應數據集的目錄與參數,這樣就編輯好了標準YOLOv4網絡Input部分需要的參數,在訓練執行的命令行中設定epoch后,根據本次實驗數據集加載kitti7.data,同時加載yolov4.cfg,程序即可開始訓練;程序在運行時會使用Initialization函數進行神經網絡各層權值參數的初始化;2從Input部分輸入圖片數據,經過Backbone部分,最終輸出兩個尺度的特征圖,并使用分類器輸出預測框Pb1與分類概率CPx;從Input部分輸入圖片數據,經過Backbone部分,最終輸出兩個尺度的特征圖,將兩種不同尺度的特征圖送入特征金字塔網絡FeatuerPyramidNetwork,FPN組成的Neck部分,并將融合后的特征傳遞到預測層中,與此同時Head部分完成目標的分類并輸出預測框Pb1與分類概率CPx,其中x為每個分類的索引;3對這些數據進行IoU與NMS后處理,將預測框Pb2與真實框Gtb對比,并使用Adam算法進行神經網絡各層權值更新;經過Backbone網絡生成的預測框Pb1數量太大,對圖片中同一物體有大量檢測框存在,造成檢測結果冗余;YOLOv4的Head部分會同時完成預測框與其對應的分類概率;對這些數據進行IoU與NMS后處理,得到處理好的數據;這里使用的IoU與NMS為標準YOLOv4的CIoU_loss與NMS;經過這些后處理后就可以得到感興趣目標的預測框Pb2與其對應的分類概率CPx;同時,使用Adam算法使用后處理過程中得到的loss進行神經網絡各層權值更新;4循環執行步驟2和3繼續迭代至命令中設定的epoch值,停止訓練,輸出記錄每一層權重與偏移的文件Q1;利用Q1得到的權重與偏移對測試集進行檢測,計算得到mAP、Recall與檢測時的幀率FPS;按照精度要求設置迭代閾值epoch=100,迭代次數小于閾值時,使用Adam算法進行網絡各層權值更新,直到閾值epoch=100停止訓練,計算mAP與Recall,輸出記錄每一層權重與偏移的文件Q1;步驟三、設計Dense-YOLOv4網絡模型;在該模型中設計兩種跨層融合模塊,分別為Dense-SPP模塊和Dense-特征融合模塊;以YOLOv4為基礎網絡,將上述兩個模塊引入到YOLOv4模型中;在骨架網絡上采用CSPDarknet-53為特征提取網絡,在特征融合網絡上,將原始SPP模塊換為Dense-SPP模塊;同時將路徑聚合網絡PathAggregationNetwork,PAN結構上的與上一尺度的輸出特征圖進行融合的單路五層卷積模塊換為設計的Dense-特征融合模塊;網絡的檢測器方面,采用原始設計的三尺度檢測,網絡的輸入尺寸為640×640×3,最終檢測層特征圖大小分別為20×20、40×40和80×80,分別檢測大中小目標;a設計一種Dense-SPP模塊,在原始SPP模塊的基礎上引入跨層連接模塊,這樣特征圖分為兩個分支,其中一個特征圖進行原始SPP模塊卷積、池化操作,另一個特征圖進行1×1×512單次卷積,然后兩個分支的輸出特征圖進行Concat拼接操作;Dense-SPP模塊的卷積核的數量為11264,而原始SPP模塊的卷積核的數量為20480,相比之下參數量減少了45%;設計的Dense-SPP模塊同樣是采用5個CBL模塊,不同之處在于增加一個跨層連接,融合了之前卷積的信息,保留了更多的原始信息;其次,網絡具有層次性,也就是說對于同一個任務,不同樣本用不同種類的特征就可以完成檢測;淺層網絡提取的是簡單的特征,包括紋理特征,而不同的樣本需要不同復雜程度的特征來進行判斷,沒有Concat拼接操作時,網絡沒有保存前面淺層網絡提取的特征;加入Concat拼接操作后,相當于又在輸出上拼接了模塊第一層的特征信息,變得有效;b設計一種Dense-特征融合模塊,進入Dense-特征融合模塊,特征分為兩個分支,其中一個特征圖進行四次卷積,卷積核大小分別為1×1×256、3×3×256、1×1×256、3×3×256,另一個特征圖進行1×1×256單次卷積,然后兩個分支的特征進行Concat拼接操作;與原始YOLOv4中的單路五次卷積相比Dense-特征融合模塊的計算量會更少,卷積核參數的數量為5376,而單路五次卷積的卷積核參數的數量為9984,相比之下計算量減少了40%;由于每做一次卷積都會浪費掉一些信息:激活函數的抑制作用、卷積核參數的隨機性,此跨層連接相當于把以前處理過的信息直接再拿到現在一并處理,起到了減損的效果;并且Concat拼接操作,相當于又在輸出上拼接了模塊第一層的特征信息,實現了特征復用;密集跨層連接模塊每一層的輸出都會和后面所有層建立輸入輸出關系,而每一層的輸入都是前面所有層的累加,這種模式可以把網絡淺層的簡單特征保留到網絡深層,與高語義特征進行融合,可以實現特征復用;這種??梢詼p少網絡的參數量;后續的網絡層獲得損失函數的梯度和原始的輸入信號,使得網絡包含了隱式的深度監督,進而容易訓練更深的網絡同時具有正則化的效果,緩解了訓練過程中的梯度消失問題;步驟四、將步驟二與步驟三模型性能的檢測結果進行對比,包括模型檢測精度、模型檢測速度、模型檢測召回率、模型權重文件大小,并查看步驟二與步驟三實際檢測的數據集中的圖像,分析檢測結果。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人西安電子科技大學;陜西理工大學,其通訊地址為:710071 陜西省西安市雁塔區太白南路2號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。