買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜華南理工大學(xué);華南理工大學(xué)珠海現(xiàn)代產(chǎn)業(yè)創(chuàng)新研究院申請的專利一種基于雙流注意力圖卷積的異常行為識別方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN115171206B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210161226.4，技術(shù)領(lǐng)域涉及：G06V40/20；該發(fā)明授權(quán)一種基于雙流注意力圖卷積的異常行為識別方法是由杜啟亮;向照夷;田聯(lián)房設(shè)計研發(fā)完成，并于2022-02-22向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于雙流注意力圖卷積的異常行為識別方法在說明書摘要公布了：本發(fā)明公開了一種基于雙流注意力圖卷積的異常行為識別方法，針對人體的運動特點，在現(xiàn)有圖卷積網(wǎng)絡(luò)的基礎(chǔ)上提出時間注意力模塊、空間注意力模塊、通道注意力模塊，上述模塊可以直接插入任何圖卷積之中，以增強(qiáng)圖卷積的模型性能，推理時，將人體的關(guān)節(jié)點信息和骨骼信息分別輸入對應(yīng)的關(guān)節(jié)點特征提取的圖卷積網(wǎng)絡(luò)及骨骼特征提取的圖卷積網(wǎng)絡(luò)，獲得初步的分類結(jié)果，再將結(jié)果送入訓(xùn)練好的雙流融合網(wǎng)絡(luò)，計算出最優(yōu)的融合參數(shù)，繼而得到最終的分類結(jié)果。本發(fā)明可以提高圖卷積網(wǎng)絡(luò)模型的特征提取性能，并增強(qiáng)雙流結(jié)果融合的效果，有效提高人體異常行為識別準(zhǔn)確率。

本發(fā)明授權(quán)一種基于雙流注意力圖卷積的異常行為識別方法在權(quán)利要求書中公布了：1.一種基于雙流注意力圖卷積的異常行為識別方法，其特征在于，包括以下步驟：1）獲取攝像機(jī)拍攝的含有人異常行為的視頻段，并對每個人異常行為類別進(jìn)行標(biāo)注；2）使用關(guān)鍵點提取網(wǎng)絡(luò)獲取視頻中的人體關(guān)節(jié)點序列，將其與對應(yīng)的異常行為類別組合制作行為分類關(guān)節(jié)點數(shù)據(jù)集，將人體關(guān)節(jié)點序列轉(zhuǎn)換為人體骨骼序列制作行為分類骨骼數(shù)據(jù)集，并將行為分類關(guān)節(jié)點數(shù)據(jù)集和行為分類骨骼數(shù)據(jù)集按同樣比例劃分訓(xùn)練集和驗證集；3）分別使用行為分類關(guān)節(jié)點數(shù)據(jù)集和行為分類骨骼數(shù)據(jù)集的訓(xùn)練集訓(xùn)練兩個改進(jìn)MS-G3D網(wǎng)絡(luò)，并使用對應(yīng)驗證集驗證模型精度以選取最優(yōu)模型參數(shù)；所述改進(jìn)MS-G3D網(wǎng)絡(luò)的改進(jìn)部分情況具體如下：在MS-G3D網(wǎng)絡(luò)的基礎(chǔ)上添加了三個模塊，分別是時間注意力模塊、空間注意力模塊、通道注意力模塊；所述時間注意力模塊包括幀差異信息提取子模塊、多時間尺度特征提取模塊和輸出模塊，所述空間注意力模塊包括結(jié)點差異信息提取子模塊、多結(jié)點尺度特征提取模塊和輸出模塊；所述通道注意力模塊包含平均池化層、1×1卷積層、ReLU激活函數(shù)、Sigmoid激活函數(shù)、BN層和兩個跨越連接，其中平均池化層用于壓縮通道注意力模塊原始輸入的時間空間信息，而后使用1×1卷積層及ReLU激活函數(shù)進(jìn)行通道降維減少計算量，再使用1×1卷積層及Sigmoid激活函數(shù)進(jìn)行通道升維并獲取每個通道的權(quán)重系數(shù)，使用第一個跨越連接將與權(quán)重系數(shù)相乘并將結(jié)果使用第二個跨越連接與疊加，最后連接BN層及ReLU激活函數(shù)調(diào)整數(shù)據(jù)分布并增加模型的非線性擬合能力得到最終的通道注意力模塊輸出結(jié)果；所述幀差異信息提取子模塊包含兩個平均池化層、平方層及跨越連接，其中，第一個平均池化層用于獲取時間注意力模塊原始輸入每個結(jié)點在所有幀的平均特征，并將該特征作為平均骨架，而后通過跨越連接與作差，再經(jīng)過平方層對每個元素求平方，最后經(jīng)過第二個平均池化層對空間維度求平均得到幀差異信息提取子模塊輸出結(jié)果，即將一幀所有結(jié)點特征的平均值作為該幀的重要性，從而達(dá)到與平均骨架差異越大的幀重要性越高的效果；所述多時間尺度特征提取模塊包含空洞卷積層、Concat層、平均池化層及Sigmoid層，其中，多個擴(kuò)張系數(shù)分別為1、5、9、13、17、21、24的13×1空洞卷積層并聯(lián)，輸入同時為幀差異信息提取子模塊輸出結(jié)果，使用Concat層將所有空洞卷積層的輸出按通道維度拼接，而后使用平均池化層壓縮通道維度，并經(jīng)過Sigmoid層獲得不同幀的重要性系數(shù)；所述輸出模塊包含跨越連接層、BN層和ReLU激活函數(shù)，其中，跨越連接層將不同幀的重要性系數(shù)或不同結(jié)點的重要性系數(shù)與時間注意力模塊原始輸入或空間注意力模塊原始輸入相乘，而后與或相加，最后連接BN層及ReLU激活函數(shù)獲得最終的時間注意力模塊或空間注意模塊的輸出結(jié)果；所述結(jié)點差異信息提取子模塊包含兩個平均池化層、平方層及跨越連接，其中，第一個平均池化層用于獲取空間注意力模塊原始輸入每個結(jié)點在所有幀的平均特征，而后通過跨越連接與作差，再經(jīng)過平方層對每個元素求平方，最后經(jīng)過第二個平均池化層對時間維度求平均得到結(jié)點差異信息提取子模塊輸出結(jié)果，即將一個結(jié)點所有幀特征的平均值作為該結(jié)點的重要性，從而達(dá)到變化越劇烈的結(jié)點重要性越高的效果；所述多結(jié)點尺度特征提取模塊包含空洞卷積層、Concat層、平均池化層及Sigmoid激活函數(shù)，其中，多個擴(kuò)張系數(shù)分別為1、3、5、7、9、11、12的3×1空洞卷積層并聯(lián)，輸入同時為結(jié)點差異信息提取子模塊輸出結(jié)果，使用Concat層將所有空洞卷積層的輸出按通道維度拼接，而后使用平均池化層壓縮通道維度，并經(jīng)過Sigmoid激活函數(shù)獲得不同結(jié)點的重要性系數(shù)；4）對同一人的人體關(guān)節(jié)點序列和人體骨骼序列分別使用訓(xùn)練好的對應(yīng)改進(jìn)MS-G3D網(wǎng)絡(luò)進(jìn)行預(yù)測，并將得到的兩個預(yù)測結(jié)果以及該人的異常行為類別組合制作雙流融合數(shù)據(jù)集，并劃分訓(xùn)練集和驗證集；5）使用雙流融合數(shù)據(jù)集的訓(xùn)練集訓(xùn)練雙流融合網(wǎng)絡(luò)，并使用對應(yīng)驗證集驗證模型精度以選取最優(yōu)模型參數(shù)；6）對待檢測視頻的每一幀進(jìn)行乘客骨架提取并跟蹤得到人體關(guān)節(jié)點序列和人體骨骼序列，將兩個序列分別送入訓(xùn)練好的對應(yīng)改進(jìn)MS-G3D網(wǎng)絡(luò)進(jìn)行預(yù)測，將得到的兩個預(yù)測結(jié)果送入訓(xùn)練好的雙流融合網(wǎng)絡(luò)進(jìn)行預(yù)測，該預(yù)測結(jié)果即為最終的該乘客異常行為類別。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人華南理工大學(xué);華南理工大學(xué)珠海現(xiàn)代產(chǎn)業(yè)創(chuàng)新研究院，其通訊地址為：510640 廣東省廣州市天河區(qū)五山路381號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。