恭喜大連理工大學楊鑫獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜大連理工大學申請的專利一種基于事件相機的圖像語義分割方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116597144B 。
龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310606274.4,技術領域涉及:G06V10/26;該發明授權一種基于事件相機的圖像語義分割方法是由楊鑫;魏小鵬;王超毅設計研發完成,并于2023-05-26向國家知識產權局提交的專利申請。
本一種基于事件相機的圖像語義分割方法在說明書摘要公布了:本發明屬于計算機視覺技術領域,公開了一種基于事件相機的圖像語義分割方法。由于事件數據分布不均,事件幀圖像不同區域提供的細節信息差距較大,在事件數據稀疏的區域提取的局部特征可能不具備充足的語義與細節信息,為了有效的提取事件幀圖像特征,本發明從全局的角度提取事件特征,利用注意力機制對圖像各點建立豐富的全局上下文關系,進而增強網絡的表達能力;然后通過圖推理模塊加強高層級特征的上下文依賴關系,為后續分割預測提供更為準確的語義線索。
本發明授權一種基于事件相機的圖像語義分割方法在權利要求書中公布了:1.一種基于事件相機的圖像語義分割方法,其特征在于,步驟如下:1特征提取模塊事件圖像特征提取模塊用于從事件數據堆疊的事件圖像中提取特征,事件數據用以下公式進行表達: 其中,xk,yk是事件的像素坐標,tk是事件的時間戳,pk=±1是事件的極性;為了將捕獲的異步事件數據輸入到特征提取模塊中,首先通過固定時間間隔,將相同時間間隔內的事件數據進行疊加以形成事件幀圖像,再將事件幀圖像送入特征提取模塊;采用SwinTransformer作為特征提取網絡,特征提取模塊共輸出四個階段的特征,一階段低層級特征攜帶豐富的細節信息,剩余階段高層級特征攜帶豐富的語義信息;2事件幀圖像注意力模塊設計事件幀圖像注意力模塊,從全局的角度提取事件特征,加強上下文的關聯性;對于特征提取模塊輸出的一階段事件特征先將其分別經過一個3×3卷積層,得到兩個相同維度的特征,再各自將兩個特征的后兩個維度合并,重塑為其中n=h×w;接下來將E1轉置后與E2相乘,得到的結果通過Softmax函數得到特征此時得到建立了每個像素點的全局空間聯系的注意力特征圖;具體過程表示如下:E1=ReshapeConv3E2E2=ReshapeConv3E3 其中,Conv3表示3×3卷積,Reshape表示重塑操作,Softmax表示Softmax函數;接下來將一階段事件特征E再經過一個3×3卷積層并且重塑為與E1、E2相同維度的特征然后與E′相乘,將得到的結果重塑為一階段事件特征E的維度,再與一個可學習的參數α進行元素級乘,然后與一階段事件特征E相加,此時便得到了經過自注意力計算的特征向量具體計算過程表示如下:E3=ReshapeConv3E5E″=α·ReshapeE3E′+E6其中,α是取值為0~1的可學習的參數,初始化為0;α會從0逐漸增大,旨在逐漸將注意力機制加入到模型中;最后將E″進行空間維度的自適應平均池化操作,然后經過一個1×1卷積層,再通過Sigmoid激活函數進行激活,再次與輸入的一階段事件特征E進行元素級乘,對包含上下文信息的特征進行校正,保留有價值的特征,得到最終的輸出結果該過程表示為:M=E·σConv1AvgPo0lE″7其中,Conv1表示1×1卷積,AvgPool表示自適應平均池化操作,σ表示Sigmoid激活函數;3圖推理模塊將圖推理引入語義分割任務,提出了圖推理模塊;通過一種改進的拉普拉斯公式,在內積引入與位置無關的注意力機制的對角矩陣,實現更好的距離度量;并通過在原始特征空間進行圖推理,進一步捕捉長距離的上下文關系,從而更好的提取高層級事件特征;圖卷積是一種對圖結構數據進行卷積操作的模擬;給定圖G=V,E及其鄰接矩陣A和度矩陣D,規范化的圖拉普拉斯矩陣表示為: 其中,I為單位矩陣,而多層圖卷積網絡GCN中的逐層傳播規則表示為: 其中,Hl是第l層的頂點特征,Θl是第l層的可訓練權重矩陣,σ是非線性激活函數;將上式中的傳播規則應用于卷積神經網絡CNN特征,即設計一種改進的拉普拉斯矩陣確保要學習的長距離上下文關系依賴于輸入特征,而不受特定特征的限制;表示為: 其中,diag表示對角操作,表示相似度矩陣,維度n=H×W;對于相似度矩陣,位置i和位置j的相似度表示為: 其中,對于輸入的特征先通過1×1的卷積層進行降維操作,得到通道數為C的特征向量,然后進行重塑操作,分別得到特征向量和C設置為64;接下來將特征向量X進行全局平均池化,再通過1×1的卷積層進行降維操作,得到通道數為C的特征向量,接下來通過對角操作得到特征向量最后將三個特征向量進行點乘得到相似度矩陣整個圖推理模塊表示為: 其中,Y表示模塊輸出的特征向量,τ表示ReLu激活函數,Θ表示可訓練的權重矩陣;將特征提取模塊獲得的三個階段的高層級特征分別送入圖推理模塊,經過圖推理模塊的特征向量攜帶了更為豐富的長距離上下文依賴關系,為最終的分割預測提供更為準確的語義線索;4全感知機模塊全感知機模塊只包含多層感知機,僅僅通過線性操作便將不同層級的特征進行融合,設計簡單高效,在保留多數特征信息的同時又降低了解碼器的復雜度,降低了計算量。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人大連理工大學,其通訊地址為:116024 遼寧省大連市甘井子區凌工路2號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。