恭喜中國人民公安大學;北京九叁有方物聯網科技有限公司張培晶獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜中國人民公安大學;北京九叁有方物聯網科技有限公司申請的專利面向具身智能的多視角人體姿態數據采集裝置及數據處理方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119226663B 。
龍圖騰網通過國家知識產權局官網在2025-04-04發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411730031.2,技術領域涉及:G06F17/10;該發明授權面向具身智能的多視角人體姿態數據采集裝置及數據處理方法是由張培晶;劉一村;楊磊;劉鐘澤;宋蕾;周菲菲;崔建海設計研發完成,并于2024-11-29向國家知識產權局提交的專利申請。
本面向具身智能的多視角人體姿態數據采集裝置及數據處理方法在說明書摘要公布了:本發明公開了一種面向具身智能的多視角人體姿態數據采集裝置及其數據處理方法。采集裝置包括數據采集單元、控制與數據處理單元、存儲單元、通信模塊、人機界面模塊和輔助設備模塊。數據處理方法利用圖時空卷積神經網絡ST?GCN將兩個相機各自的骨骼點序列轉化為標準化的動作描述模型;基于Graph?CutRANSAC方法計算空間變換矩陣,對兩個相機各自的骨骼點序列進行匹配和對準;通過VAD技術對音頻數據進行分割并標注。本發明具有同步添加語音信息標簽、全面的環境感知、高精度骨骼點識別、過程事件序列化的優點,提升了系統在多種應用場景中數據收集的表現。
本發明授權面向具身智能的多視角人體姿態數據采集裝置及數據處理方法在權利要求書中公布了:1.一種面向具身智能的多視角人體姿態數據采集裝置的數據處理方法,其特征在于:步驟1:音頻數據端點檢測及截取:步驟1-1:將音頻數據對應視頻幀進行分段,逐一從各音頻數據段中提取短時能量特征、頻率特征和零交叉率特征;計算各音頻數據段的短時能量: (1)其中,是第m音頻數據段的短時能量;N為每一音頻數據段的樣本數,是第n音 頻信號的幅度值; 計算頻譜質心C和頻譜平坦度P: (2) (3)其中Xfk是音頻數據的頻譜,fk是第k頻率分量; 計算零交叉率: (4)其中,sgn()為符號函數;T為音頻數據段的時間長度;步驟1-2:計算綜合特征: (5)其中,,和分別表示短時能量的閾值、零交叉率閾值和頻譜質心的閾 值,表示頻譜平坦度的閾值; 步驟1-3:將綜合特征CF與預先設定的閾值比較,如果大于預先設定的閾值,識別為語音信號段,否則,識別為非語音信號段;步驟1-4:對語音信號段使用VAD技術檢測語音信號的起始點和終止點;步驟1-5:音頻數據段根據語音端點檢測的結果y分割后,添加相應視頻幀的標識標簽;步驟2:預測人體關鍵點的位置:使用優化后的BlazePose模型對預處理后的視頻流數據逐幀進行骨骼關鍵點檢測;BlazePose模型包括粗定位模塊和關鍵點精細定位模塊,粗定位模塊通過輕量級的卷積神經網絡提取人體的初步位置,精細定位模塊細化每個關鍵點的位置;精細定位模塊包括特征變化檢測單元、參數調節單元、參數學習單元和參數優化單元;特征變化檢測單元采用局部差分方法,計算時間上相鄰幀之間的差分或空間上的梯度變化,生成變化感知圖;參數調節單元基于生成變化感知圖,動態調整自調節卷積核的權重;參數學習單元在參數調節單元控制下,通過學習參數控制方式調整模型參數: (6)其中,Kx,y是自調節卷積核在位置x,y的值,a和b是可學習參數,fx,y代表輸入特征的局部描述,σ是激活函數;參數優化單元的目標函數為: (7)其中,是真實關鍵點的位置,是模型預測的位置,J是自調節卷積核的泛函,用于優化卷積核的特征提取能力,表示為: (8)步驟3:人體關鍵節點進行匹配:使用Graph-CutRANSAC方法計算空間變換矩陣,對正交人體關鍵節點進行匹配和對準;步驟4:生成人體關鍵節點時空圖:以各視頻流數據幀的人體關鍵節點為節點,相鄰視頻流數據幀對應人體關鍵節點建立邊;各視頻流數據幀內人體關鍵節點依據預設的人型拓撲圖建立邊,得到人體關鍵節點時空圖;步驟5:動作分解和描述:結合時空圖卷積神經網絡ST-GCN,實現動作標準化分解和描述;建立時空圖卷積神經網絡ST-GCN并采用預設訓練集訓練,時空圖卷積神經網絡ST-GCN包括輸入層,1層以上由圖卷積網絡GCN和時序卷積網絡TCN組成的處理單元、輸出層;將多視角采集系統輸出的骨骼化處理視頻流按照人形圖拓撲編碼,并按預設倍增參數取值進行時間延拓后輸入圖時空卷積神經網絡ST-GCN進行分析,通過人機交互的弱監督方法識別不同動作的特征,實現每一個T時間點的動作過程事件自動抽取。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人中國人民公安大學;北京九叁有方物聯網科技有限公司,其通訊地址為:100038 北京市西城區木樨地南里1號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。