買(mǎi)專利賣(mài)專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜山東大學(xué);復(fù)旦大學(xué);南方科技大學(xué)申請(qǐng)的專利一種基于骨架時(shí)空聯(lián)合特征交互增強(qiáng)的跨視角步態(tài)識(shí)別方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN118447576B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-16發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202410595928.2，技術(shù)領(lǐng)域涉及：G06V40/20；該發(fā)明授權(quán)一種基于骨架時(shí)空聯(lián)合特征交互增強(qiáng)的跨視角步態(tài)識(shí)別方法是由賁晛燁;許文正;張軍平;徐尊曉;于仕琪;楊剛強(qiáng);周洪超設(shè)計(jì)研發(fā)完成，并于2024-05-14向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于骨架時(shí)空聯(lián)合特征交互增強(qiáng)的跨視角步態(tài)識(shí)別方法在說(shuō)明書(shū)摘要公布了：本發(fā)明涉及一種基于骨架時(shí)空聯(lián)合特征交互增強(qiáng)的跨視角步態(tài)識(shí)別方法，包括骨架數(shù)據(jù)預(yù)處理、全局時(shí)空特征提取網(wǎng)絡(luò)構(gòu)建、微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)構(gòu)建、分層特征交互增強(qiáng)融合模塊構(gòu)建、整體框架訓(xùn)練及跨視角步態(tài)識(shí)別。本發(fā)明全局時(shí)空特征提取網(wǎng)絡(luò)，將基于自注意力鄰接矩陣的圖卷積與大核時(shí)間卷積相結(jié)合，動(dòng)態(tài)建模關(guān)鍵點(diǎn)間的全局空間關(guān)系和長(zhǎng)程時(shí)間關(guān)系。本發(fā)明微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)，將幾幀骨架圖聚合為一個(gè)時(shí)空?qǐng)D，通過(guò)時(shí)空聯(lián)合圖卷積捕捉關(guān)鍵點(diǎn)間微小的短程動(dòng)態(tài)特征。本發(fā)明分層特征交互增強(qiáng)融合模塊，在歸納出信息量更大的互補(bǔ)特征的同時(shí)避免了對(duì)原始分支的負(fù)面影響。

本發(fā)明授權(quán)一種基于骨架時(shí)空聯(lián)合特征交互增強(qiáng)的跨視角步態(tài)識(shí)別方法在權(quán)利要求書(shū)中公布了：1.一種基于多尺度骨架時(shí)空特征提取的跨視角步態(tài)識(shí)別方法，其特征在于，包括步驟如下：A、骨架數(shù)據(jù)預(yù)處理對(duì)步態(tài)骨架序列數(shù)據(jù)進(jìn)行預(yù)處理，包括骨架數(shù)據(jù)增強(qiáng)、骨架描述符計(jì)算；B、全局時(shí)空特征提取網(wǎng)絡(luò)構(gòu)建全局時(shí)空特征提取網(wǎng)絡(luò)用于提取關(guān)鍵點(diǎn)間的全局空間關(guān)系和長(zhǎng)程時(shí)間關(guān)系，全局時(shí)空特征包括全局空間關(guān)系和長(zhǎng)程時(shí)間關(guān)系；對(duì)于經(jīng)步驟A預(yù)處理后得到的骨架序列數(shù)據(jù)，計(jì)算自注意力鄰接矩陣用于提取全局空間關(guān)系，然后通過(guò)大核時(shí)間卷積建模長(zhǎng)程時(shí)間關(guān)系；C、微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)構(gòu)建微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)用于建模關(guān)鍵點(diǎn)間的短程時(shí)空依賴即微時(shí)空聯(lián)合特征；對(duì)于經(jīng)步驟A預(yù)處理后得到的骨架序列數(shù)據(jù)，將幾幀骨架圖聚合為一個(gè)時(shí)空?qǐng)D，通過(guò)時(shí)空聯(lián)合圖卷積捕捉關(guān)鍵點(diǎn)間微小的短程動(dòng)態(tài)特征；D、分層特征交互增強(qiáng)融合模塊構(gòu)建分層特征交互增強(qiáng)融合模塊用于融合全局時(shí)空特征提取網(wǎng)絡(luò)和微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)提取的不同特征；對(duì)于經(jīng)步驟B和步驟C得到的不同層級(jí)的全局時(shí)空特征和微時(shí)空聯(lián)合特征，分別按通道維拼接，通過(guò)兩組通道維度調(diào)整網(wǎng)絡(luò)和多維度注意力增強(qiáng)融合模塊對(duì)全局時(shí)空特征和微時(shí)空聯(lián)合特征進(jìn)行充分融合；E、整體框架訓(xùn)練整體框架包括全局時(shí)空特征提取網(wǎng)絡(luò)、微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)和分層特征交互增強(qiáng)融合模塊，全局時(shí)空特征提取網(wǎng)絡(luò)堆疊提取全局時(shí)空特征后，經(jīng)過(guò)輸出層作為最后的全局時(shí)空特征；微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)堆疊提取微時(shí)空聯(lián)合特征后，經(jīng)過(guò)輸出層作為最后的微時(shí)空聯(lián)合特征；分層特征交互增強(qiáng)融合模塊對(duì)全局時(shí)空特征和微時(shí)空聯(lián)合特征進(jìn)行充分融合，經(jīng)過(guò)輸出層作為最后的融合特征；獨(dú)立計(jì)算全局時(shí)空特征提取網(wǎng)絡(luò)、微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)和分層特征交互增強(qiáng)融合模塊的三元組損失，并使用全局時(shí)空特征提取網(wǎng)絡(luò)、微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)和分層特征交互增強(qiáng)融合模塊的損失的平均值來(lái)監(jiān)督整體框架的訓(xùn)練過(guò)程；F、跨視角步態(tài)識(shí)別將注冊(cè)集和查詢集的步態(tài)骨架序列送入訓(xùn)練好的整體框架，通過(guò)比較查詢樣本特征與注冊(cè)樣本特征的相似度，實(shí)現(xiàn)身份的確認(rèn)；步驟B中，全局時(shí)空特征提取網(wǎng)絡(luò)構(gòu)建，包括：全局時(shí)空特征提取網(wǎng)絡(luò)包括全局空間特征提取網(wǎng)絡(luò)及長(zhǎng)程時(shí)間特征提取網(wǎng)絡(luò)；c、全局空間特征提取網(wǎng)絡(luò)構(gòu)建；對(duì)于輸入全局空間特征提取網(wǎng)絡(luò)的第l層的輸入特征Cl表示輸入特征的通道維數(shù)，首先將經(jīng)過(guò)兩個(gè)獨(dú)立的線性層，然后進(jìn)行矩陣間相乘，再經(jīng)過(guò)歸一化和Softmax函數(shù)后，得到自注意力鄰接矩陣 其中，是線性層可學(xué)習(xí)的參數(shù)矩陣，Ck表示線性層輸出張量的通道維數(shù)；計(jì)算H頭自注意力在得到自注意力鄰接矩陣后，進(jìn)行圖卷積運(yùn)算： 其中，是全局空間特征提取網(wǎng)絡(luò)的輸出，Cl+1表示全局空間特征提取網(wǎng)絡(luò)輸出特征的通道維數(shù)；σ·是Mish激活函數(shù)；是可學(xué)習(xí)的參數(shù)矩陣；d、長(zhǎng)程時(shí)間特征提取網(wǎng)絡(luò)構(gòu)建；對(duì)步驟c全局空間特征提取網(wǎng)絡(luò)的輸出特征通過(guò)卷積核大小為9×1的時(shí)間卷積提取時(shí)間特征： 其中，是全局時(shí)空特征提取網(wǎng)絡(luò)最終的輸出特征，TCN·是時(shí)間卷積；步驟C中，微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)構(gòu)建，包括：e、微時(shí)空子圖構(gòu)建；對(duì)于由T幀骨架圖組成的人體骨架圖序列首先在人體骨架圖序列設(shè)置一個(gè)大小為τ的時(shí)間滑動(dòng)窗口；時(shí)間滑動(dòng)窗口在人體骨架圖序列上以步長(zhǎng)為1滑動(dòng)，每滑動(dòng)一步，都產(chǎn)生一個(gè)微時(shí)空子圖，t時(shí)刻的微時(shí)空子圖其中是窗口中τ幀骨架圖的節(jié)點(diǎn)組成的節(jié)點(diǎn)集，其節(jié)點(diǎn)特征用張量表示為時(shí)空邊用時(shí)空鄰接矩陣表示，AST是由τ2個(gè)鄰接矩陣組成的分塊矩陣： 其中，A是原始鄰接矩陣，I是單位矩陣，i，j＝0，1，...，τ-1；時(shí)空鄰接矩陣將幀內(nèi)關(guān)鍵點(diǎn)間的連接關(guān)系推廣到時(shí)域，每個(gè)關(guān)鍵點(diǎn)都與時(shí)間滑動(dòng)窗口內(nèi)所有幀中的相同關(guān)鍵點(diǎn)以及其空間鄰居關(guān)鍵點(diǎn)相連；對(duì)骨架圖其第k跳鄰接矩陣表示為： 其中，是鄰接矩陣第i行第j列的元素，dvi，vj表示骨架圖中關(guān)鍵點(diǎn)vi和vj間的最短路徑長(zhǎng)度；顯然，相應(yīng)的，得到第k跳時(shí)空鄰接矩陣 f、時(shí)空聯(lián)合圖卷積運(yùn)算；在步驟e定義節(jié)點(diǎn)特征和K跳時(shí)空鄰接矩陣后，在t時(shí)刻滑動(dòng)窗口內(nèi)進(jìn)行時(shí)空聯(lián)合圖卷積運(yùn)算： 其中，中的元素是中的元素；分別為第l層微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)中時(shí)空聯(lián)合圖卷積運(yùn)算的輸入和輸出特征，為可學(xué)習(xí)的參數(shù)矩陣；σ·為Mish激活函數(shù)；初始化為0，通過(guò)與鄰接矩陣相加，動(dòng)態(tài)地加強(qiáng)和削弱任意連接；δk是δ中的元素；g、窗口維度壓縮；將T組滑動(dòng)窗口中時(shí)空聯(lián)合圖卷積運(yùn)算得到的輸出特征拼接，得到輸出的時(shí)空統(tǒng)一特征將其輸入一個(gè)三維卷積對(duì)時(shí)間窗口進(jìn)行壓縮： 其中，reshape1·將特征維度由T×τN×Cl變換為Cl×T×τ×N，Conv3d·是三維卷積，其卷積核大小為1×τ×1，輸出特征維度為Cl+1×T×1×N；reshape2·將特征維度由Cl+1×T×1×N變換為T(mén)×N×Cl+1，進(jìn)而得到第l層微時(shí)空聯(lián)合特征提取網(wǎng)絡(luò)最終的輸出特征

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人山東大學(xué);復(fù)旦大學(xué);南方科技大學(xué)，其通訊地址為：250100 山東省濟(jì)南市歷城區(qū)山大南路27號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。