買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉華東交通大學(xué)申請(qǐng)的專利基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119296183B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-18發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411816671.5，技術(shù)領(lǐng)域涉及：G06V40/20；該發(fā)明授權(quán)基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)是由涂宏斌;許坤林;羅會(huì)源;彭圓圓;陶丹;李啟翔;馬偉龍;劉暢;羅家駿;高爾涵;何城設(shè)計(jì)研發(fā)完成，并于2024-12-11向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)在說(shuō)明書摘要公布了：本發(fā)明屬于圖像識(shí)別領(lǐng)域，提出了一種基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)，通過(guò)設(shè)計(jì)一種多模態(tài)群體行為識(shí)別網(wǎng)絡(luò)，包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò)，分別進(jìn)行多模態(tài)特征處理，以避免通過(guò)單一模態(tài)信息進(jìn)行識(shí)別時(shí)，由于群體間的交互行為和復(fù)雜的交互環(huán)境的因素，造成識(shí)別精度較低的問(wèn)題，進(jìn)一步符合實(shí)際檢修情況，提高了整體識(shí)別的精度，又通過(guò)輕量化設(shè)計(jì)，提高了識(shí)別的效率，再進(jìn)行群體之間和群體與交互目標(biāo)之間的關(guān)系和交互增強(qiáng)，進(jìn)一步的提高了識(shí)別的精度，避免了因?yàn)檎趽踔丿B造成的識(shí)別障礙，本發(fā)明提高了群體目標(biāo)交互行為的識(shí)別準(zhǔn)確性和效率。

本發(fā)明授權(quán)基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法，其特征在于，包括：實(shí)時(shí)采集目標(biāo)視頻圖像并進(jìn)行預(yù)處理，將預(yù)處理后的所述目標(biāo)視頻圖像輸入多模態(tài)群體行為識(shí)別網(wǎng)絡(luò)，所述多模態(tài)群體行為識(shí)別網(wǎng)絡(luò)包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò)，所述圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò)之間的網(wǎng)絡(luò)結(jié)構(gòu)為相互并行結(jié)構(gòu)；所述圖像分支子網(wǎng)絡(luò)根據(jù)輕量化圖像特征處理模塊對(duì)所述目標(biāo)視頻圖像進(jìn)行特征提取，獲取基礎(chǔ)目標(biāo)群體圖像特征，再根據(jù)時(shí)空雙流交互的群體關(guān)系增強(qiáng)模塊進(jìn)行特征關(guān)系增強(qiáng)，以獲取關(guān)系增強(qiáng)圖像特征；所述再根據(jù)時(shí)空雙流交互的群體關(guān)系增強(qiáng)模塊進(jìn)行特征關(guān)系增強(qiáng)，以獲取關(guān)系增強(qiáng)圖像特征的步驟，具體包括：圖像分支子網(wǎng)絡(luò)包括群體關(guān)系增強(qiáng)模塊，所述群體關(guān)系增強(qiáng)模塊包括空間-時(shí)間分支路徑和時(shí)間-空間分支路徑；所述空間-時(shí)間分支路徑中包括空間注意力殘差子模塊，所述空間注意力殘差子模塊包括空間注意力塊、多層感知塊和殘差分路；所述時(shí)間-空間分支路徑中包括時(shí)間注意力殘差子模塊，所述時(shí)間注意力殘差子模塊包括時(shí)間注意力塊、多層感知塊和殘差分路；所述群體關(guān)系增強(qiáng)模塊基于時(shí)空雙流交互算法進(jìn)行特征關(guān)系增強(qiáng)；所述時(shí)空雙流交互算法具體如下： ， ， ， ， ， ， ， ， ， ，其中，表示PE函數(shù)，表示偶數(shù)維度的PE函數(shù)，表示奇數(shù)維度的PE函數(shù)，表示邊界框中心坐標(biāo)，表示特征維度，表示位置編碼的維度，表示空間-時(shí)間分支路徑的輸入特征，表示時(shí)間-空間分支路徑的輸入特征，和分別表示空間注意力塊和時(shí)間注意力塊中的PE函數(shù)輸出特征，和分別表示空間注意力塊和時(shí)間注意力塊中的PE函數(shù)，和分別表示空間注意力塊和時(shí)間注意力塊中多頭注意力增強(qiáng)特征，表示線性層，表示多頭注意力機(jī)制層，和分別表示空間注意力塊和時(shí)間注意力塊的最終輸出，表示前饋層，表示時(shí)間注意力殘差子模塊，表示空間注意力殘差子模塊，表示多層感知塊，和分別表示空間-時(shí)間分支路徑和時(shí)間-空間分支路徑的最終輸出特征；根據(jù)空間-時(shí)間分支路徑和時(shí)間-空間分支路徑的最終輸出特征進(jìn)行特征融合，以獲取關(guān)系增強(qiáng)圖像特征；所述文本分支子網(wǎng)絡(luò)根據(jù)預(yù)設(shè)動(dòng)作標(biāo)簽獲取動(dòng)作文本特征，再根據(jù)輕量化注意力增強(qiáng)模塊對(duì)所述基礎(chǔ)目標(biāo)群體圖像特征進(jìn)行注意力增強(qiáng)操作，以獲取注意力增強(qiáng)圖像特征，根據(jù)知識(shí)蒸餾算法對(duì)所述動(dòng)作文本特征和所述注意力增強(qiáng)圖像特征進(jìn)行信息交互處理，以獲取交互文本特征，再根據(jù)群體關(guān)系調(diào)參模塊對(duì)所述交互文本特征進(jìn)行特征關(guān)系增強(qiáng)和調(diào)參操作，以獲取關(guān)系增強(qiáng)文本特征，所述群體關(guān)系調(diào)參模塊包括關(guān)系增強(qiáng)子模塊和調(diào)參子模塊，所述關(guān)系增強(qiáng)子模塊與所述群體關(guān)系增強(qiáng)模塊的參數(shù)共享；所述關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò)對(duì)所述目標(biāo)視頻圖像進(jìn)行關(guān)鍵點(diǎn)特征提取，以獲取關(guān)鍵點(diǎn)特征，再根據(jù)交互模塊對(duì)所述關(guān)鍵點(diǎn)特征進(jìn)行交互增強(qiáng)，以獲取交互增強(qiáng)關(guān)鍵點(diǎn)特征；根據(jù)所述關(guān)系增強(qiáng)圖像特征、所述關(guān)系增強(qiáng)文本特征和所述交互增強(qiáng)關(guān)鍵點(diǎn)特征，進(jìn)行群體行為識(shí)別，以獲取最終分類結(jié)果。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人華東交通大學(xué)，其通訊地址為：330000 江西省南昌市經(jīng)濟(jì)技術(shù)開發(fā)區(qū)雙港東大街808號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。