華東交通大學(xué)涂宏斌獲國(guó)家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標(biāo)用IPTOP,全免費(fèi)!專利年費(fèi)監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)獲悉華東交通大學(xué)申請(qǐng)的專利基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予,授權(quán)公告號(hào)為:CN119296183B 。
龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-18發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為:202411816671.5,技術(shù)領(lǐng)域涉及:G06V40/20;該發(fā)明授權(quán)基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)是由涂宏斌;許坤林;羅會(huì)源;彭圓圓;陶丹;李啟翔;馬偉龍;劉暢;羅家駿;高爾涵;何城設(shè)計(jì)研發(fā)完成,并于2024-12-11向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。
本基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)在說(shuō)明書摘要公布了:本發(fā)明屬于圖像識(shí)別領(lǐng)域,提出了一種基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng),通過(guò)設(shè)計(jì)一種多模態(tài)群體行為識(shí)別網(wǎng)絡(luò),包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò),分別進(jìn)行多模態(tài)特征處理,以避免通過(guò)單一模態(tài)信息進(jìn)行識(shí)別時(shí),由于群體間的交互行為和復(fù)雜的交互環(huán)境的因素,造成識(shí)別精度較低的問(wèn)題,進(jìn)一步符合實(shí)際檢修情況,提高了整體識(shí)別的精度,又通過(guò)輕量化設(shè)計(jì),提高了識(shí)別的效率,再進(jìn)行群體之間和群體與交互目標(biāo)之間的關(guān)系和交互增強(qiáng),進(jìn)一步的提高了識(shí)別的精度,避免了因?yàn)檎趽踔丿B造成的識(shí)別障礙,本發(fā)明提高了群體目標(biāo)交互行為的識(shí)別準(zhǔn)確性和效率。
本發(fā)明授權(quán)基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法及系統(tǒng)在權(quán)利要求書中公布了:1.一種基于多模態(tài)群體行為識(shí)別技術(shù)的交互行為識(shí)別方法,其特征在于,包括:實(shí)時(shí)采集目標(biāo)視頻圖像并進(jìn)行預(yù)處理,將預(yù)處理后的所述目標(biāo)視頻圖像輸入多模態(tài)群體行為識(shí)別網(wǎng)絡(luò),所述多模態(tài)群體行為識(shí)別網(wǎng)絡(luò)包括圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò),所述圖像分支子網(wǎng)絡(luò)、文本分支子網(wǎng)絡(luò)和關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò)之間的網(wǎng)絡(luò)結(jié)構(gòu)為相互并行結(jié)構(gòu);所述圖像分支子網(wǎng)絡(luò)根據(jù)輕量化圖像特征處理模塊對(duì)所述目標(biāo)視頻圖像進(jìn)行特征提取,獲取基礎(chǔ)目標(biāo)群體圖像特征,再根據(jù)時(shí)空雙流交互的群體關(guān)系增強(qiáng)模塊進(jìn)行特征關(guān)系增強(qiáng),以獲取關(guān)系增強(qiáng)圖像特征;所述再根據(jù)時(shí)空雙流交互的群體關(guān)系增強(qiáng)模塊進(jìn)行特征關(guān)系增強(qiáng),以獲取關(guān)系增強(qiáng)圖像特征的步驟,具體包括:圖像分支子網(wǎng)絡(luò)包括群體關(guān)系增強(qiáng)模塊,所述群體關(guān)系增強(qiáng)模塊包括空間-時(shí)間分支路徑和時(shí)間-空間分支路徑;所述空間-時(shí)間分支路徑中包括空間注意力殘差子模塊,所述空間注意力殘差子模塊包括空間注意力塊、多層感知塊和殘差分路;所述時(shí)間-空間分支路徑中包括時(shí)間注意力殘差子模塊,所述時(shí)間注意力殘差子模塊包括時(shí)間注意力塊、多層感知塊和殘差分路;所述群體關(guān)系增強(qiáng)模塊基于時(shí)空雙流交互算法進(jìn)行特征關(guān)系增強(qiáng);所述時(shí)空雙流交互算法具體如下: , , , , , , , , , ,其中,表示PE函數(shù),表示偶數(shù)維度的PE函數(shù),表示奇數(shù)維度的PE函數(shù),表示邊界框中心坐標(biāo),表示特征維度,表示位置編碼的維度,表示空間-時(shí)間分支路徑的輸入特征,表示時(shí)間-空間分支路徑的輸入特征,和分別表示空間注意力塊和時(shí)間注意力塊中的PE函數(shù)輸出特征,和分別表示空間注意力塊和時(shí)間注意力塊中的PE函數(shù),和分別表示空間注意力塊和時(shí)間注意力塊中多頭注意力增強(qiáng)特征,表示線性層,表示多頭注意力機(jī)制層,和分別表示空間注意力塊和時(shí)間注意力塊的最終輸出,表示前饋層,表示時(shí)間注意力殘差子模塊,表示空間注意力殘差子模塊,表示多層感知塊,和分別表示空間-時(shí)間分支路徑和時(shí)間-空間分支路徑的最終輸出特征;根據(jù)空間-時(shí)間分支路徑和時(shí)間-空間分支路徑的最終輸出特征進(jìn)行特征融合,以獲取關(guān)系增強(qiáng)圖像特征;所述文本分支子網(wǎng)絡(luò)根據(jù)預(yù)設(shè)動(dòng)作標(biāo)簽獲取動(dòng)作文本特征,再根據(jù)輕量化注意力增強(qiáng)模塊對(duì)所述基礎(chǔ)目標(biāo)群體圖像特征進(jìn)行注意力增強(qiáng)操作,以獲取注意力增強(qiáng)圖像特征,根據(jù)知識(shí)蒸餾算法對(duì)所述動(dòng)作文本特征和所述注意力增強(qiáng)圖像特征進(jìn)行信息交互處理,以獲取交互文本特征,再根據(jù)群體關(guān)系調(diào)參模塊對(duì)所述交互文本特征進(jìn)行特征關(guān)系增強(qiáng)和調(diào)參操作,以獲取關(guān)系增強(qiáng)文本特征,所述群體關(guān)系調(diào)參模塊包括關(guān)系增強(qiáng)子模塊和調(diào)參子模塊,所述關(guān)系增強(qiáng)子模塊與所述群體關(guān)系增強(qiáng)模塊的參數(shù)共享;所述關(guān)鍵點(diǎn)分支子網(wǎng)絡(luò)對(duì)所述目標(biāo)視頻圖像進(jìn)行關(guān)鍵點(diǎn)特征提取,以獲取關(guān)鍵點(diǎn)特征,再根據(jù)交互模塊對(duì)所述關(guān)鍵點(diǎn)特征進(jìn)行交互增強(qiáng),以獲取交互增強(qiáng)關(guān)鍵點(diǎn)特征;根據(jù)所述關(guān)系增強(qiáng)圖像特征、所述關(guān)系增強(qiáng)文本特征和所述交互增強(qiáng)關(guān)鍵點(diǎn)特征,進(jìn)行群體行為識(shí)別,以獲取最終分類結(jié)果。
如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請(qǐng)人或?qū)@麢?quán)人華東交通大學(xué),其通訊地址為:330000 江西省南昌市經(jīng)濟(jì)技術(shù)開發(fā)區(qū)雙港東大街808號(hào);或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報(bào)告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準(zhǔn)確性。
2、報(bào)告中的分析和結(jié)論僅反映本公司于發(fā)布本報(bào)告當(dāng)日的職業(yè)理解,僅供參考使用,不能作為本公司承擔(dān)任何法律責(zé)任的依據(jù)或者憑證。
- 奇躍公司B·L·施密特獲國(guó)家專利權(quán)
- 恩朵羅杰克斯有限責(zé)任公司M·蓋森獲國(guó)家專利權(quán)
- 杜比國(guó)際公司K·克喬埃爾林獲國(guó)家專利權(quán)
- 華為技術(shù)有限公司徐杰獲國(guó)家專利權(quán)
- 青島海爾空調(diào)器有限總公司董旭獲國(guó)家專利權(quán)
- 英飛特電子(杭州)股份有限公司柳楊獲國(guó)家專利權(quán)
- 炬芯(珠海)科技有限公司熊江獲國(guó)家專利權(quán)
- 任弘毅獲國(guó)家專利權(quán)
- 北京小米移動(dòng)軟件有限公司武雋獲國(guó)家專利權(quán)
- 中興通訊股份有限公司肖凱獲國(guó)家專利權(quán)


熱門推薦
- 中央大學(xué)校產(chǎn)學(xué)協(xié)力團(tuán)尹裕植獲國(guó)家專利權(quán)
- 廈門建霖健康家居股份有限公司沈永坤獲國(guó)家專利權(quán)
- 江蘇長(zhǎng)電科技股份有限公司朱仲明獲國(guó)家專利權(quán)
- 皇家飛利浦有限公司S·小夸雷斯瑪獲國(guó)家專利權(quán)
- 上海鳴志自動(dòng)控制設(shè)備有限公司涂必林獲國(guó)家專利權(quán)
- 上海世林電力技術(shù)發(fā)展有限公司任予樂(lè)獲國(guó)家專利權(quán)
- 青島海爾滾筒洗衣機(jī)有限公司宋立軍獲國(guó)家專利權(quán)
- 弗提圖德薩沃有限公司請(qǐng)求不公布姓名獲國(guó)家專利權(quán)
- 青島海爾洗碗機(jī)有限公司徐雙超獲國(guó)家專利權(quán)
- 原相科技股份有限公司韓威如獲國(guó)家專利權(quán)