買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜廣州大學申請的專利基于集成學習方法融合時間注意力圖卷積的行為識別方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114708649B 。

龍圖騰網通過國家知識產權局官網在2025-03-21發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210240650.8，技術領域涉及：G06V40/20；該發明授權基于集成學習方法融合時間注意力圖卷積的行為識別方法是由曹忠;胡偉俊;尚文利;趙文靜設計研發完成，并于2022-03-10向國家知識產權局提交的專利申請。

本基于集成學習方法融合時間注意力圖卷積的行為識別方法在說明書摘要公布了：本發明涉及計算機識別技術領域，且公開了基于集成學習方法融合時間注意力圖卷積的行為識別方法，包括以下步驟：步驟一：將拍攝得到的人體交互行為視頻拆分成圖片幀，每個視頻都拆分成148幀；步驟二：使用Openpose算法實現人體骨骼點的三維坐標點的數據提??；步驟三：使用圖結構和關節點特征矩陣來描述人體骨架，對于圖結構，人體骨架的圖結構的構建方式為自然物理連接方式。本發明是基于集成學習方法融合時間注意力圖卷積的行為識別方法，使用融合時間注意力的時空圖卷積網絡進行行為識別，在數據特征描述上，使用了靜止三維信息流、交互信息流、運動速度流和交互運動速度流來對人體特征進行描述，豐富了特征的語義信息。

本發明授權基于集成學習方法融合時間注意力圖卷積的行為識別方法在權利要求書中公布了：1.基于集成學習方法融合時間注意力圖卷積的行為識別方法，其特征在于：包括以下步驟：步驟一：將拍攝得到的人體交互行為視頻拆分成圖片幀，每個視頻都拆分成148幀；步驟二：使用Openpose算法實現人體骨骼點的三維坐標點的數據提取；步驟三：使用圖結構和關節點特征矩陣來描述人體骨架，對于圖結構，人體骨架的圖結構的構建方式為自然物理連接方式，而關節點特征矩陣則是步驟二描述的骨骼點三維坐標張量；步驟四：對于多模態交互特征的提取流程，首先利用關節點的三維坐標點特征信息，三維坐標點特征信息為靜止三維信息流，提取出運動速度流和交互信息流，然后通過運動速度流得到交互運動速度流，最后將交互信息流和交互運動速度流組合成交互特征矩陣；步驟五：以人體的圖結構和交互特征矩陣作為時空圖卷積的輸入，利用空域圖卷積在空間維度方向進行特征提取，利用融合時間注意力的時間圖卷積在時間維度方向進行特征提取和挖掘對行為識別有影響力的圖片幀，空域卷積模塊和融合時間注意力的時間圖卷積模塊共同組成融合時間注意力的時空圖卷積模塊；步驟六：重復步驟五，重新建立一個時空圖卷積模塊，設計步驟六的時空圖卷積模塊與步驟五的時空圖卷積模塊網絡結構不一樣，對其進行訓練學習；步驟七：利用前面的步驟建立起來的兩個時空圖卷積模塊作為基分類器，為避免訓練數據的隨機劃分對訓練結果造成的差異，每個基分類器的訓練數據都要經過五折交叉驗證來進行訓練學習，將每個基分類器的訓練輸出和測試輸出分別整合，作為元分類器的訓練數據輸入和測試輸入；步驟八：使用KNN來對基分類器的預測結果數據進行決策級數據融合，最后實現行為識別分類；步驟四中，多模態交互特征提取的細節如下：對于給定的視頻骨架序列，其關節點的公式描述如下：S＝{Jmti|m＝1，...，M，t＝1，...，T，i＝1，...，I}1其中M為一幀視頻中人體的總數，T為視頻序列的總長度，I為人體骨架的總關節數，Jmti描述為視頻中第m位人體在t時刻的關節點i，在正式開始訓練的之前，需要對視頻骨架序列S進行多樣化預處理，得到單模態交互數據，并對不同的單模態交互數據進行融合，得到多模態交互數據，骨架關節點的三維坐標描述可通過深度攝像機或者人體姿態檢測算法獲得，運動速度流、交互信息流、交互運動速度流的定義公式如下：運動速度流：運動速度流定義為相鄰兩幀中，相同人體的相同關節點坐標之間差值，由于運動速度差是第t幀與第t-1幀的差值，那么計算得到的運動速度流就會少了第0幀的運動速度信息，所以第0幀的運動速度信息通過填補0元素的方式來擴充矩陣，定義在第m位人體的第t幀的關節點i坐標為：Jm，t，i＝xm，t，i，ym，t，i，zm，t，i則在第t-1幀的關節點i坐標為：Jm，t-1，i-xm，t-1，i，ym，t-1，i，zm，t-1，i因此相鄰兩幀的關節運動速度流表達為：Vm，t，i＝Jm，t，i-Jm，t-1，i＝xm，t，i-xm，t-1，i，ym，t，i-ym，t-1，i，zm，t，i-zm，t-1，i2交互信息流：交互信息流定義為相同視頻幀中，不同人體相同關節點之間的差值，定義在第m位人體的第t幀的關節點i坐標為：Jm，t，i＝xm，t，i，ym，t，i，zm，t，i則在第n位人體的第t幀的關節點i坐標為：Jn，t，i＝xn，t，i，yn，t，i，zn，t，i因此不同人體間的交互信息流表達為：Mk，t，i＝Jm，t，i-Jn，t，i＝xm，t，i-xn，t，i，ym，t，i-yn，t，i，zm，t，i-zn，t，i3交互運動速度流：交互運動速度流定義為相同視頻幀中，不同人體的相同關節點間運動速度流之間的差值，定義在第m位人體的第t幀的運動速度流為：Vm，t，i＝αm，t，i，βm，t，i，γm，t，i則在第n位人體的第t幀的運動速度流為Vn，t，i＝αn，t，i，βn，t，i，γn，t，i因此不同人體的交互運動速度流表達為：MVk，t，i＝Vm，t，i-Vn，t，i＝αm，t，i-αn，t，i，βm，t，i-βn，t，i，γm，t，i-γn，t，i4結合式2和式4計算得到交互運動速度流，同時結合式3得到交互信息流，對交互運動速度流和交互信息流進行堆疊融合，得到多模態交互數據，多模態交互數據融合定義如下：InterFusion＝{MVk，t，i+Mk，t，i|k＝1，...，2；t＝1，...，T；i＝1，...，I}5。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人廣州大學，其通訊地址為：510006 廣東省廣州市大學城外環西路230號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。