買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中山大學申請的專利一種基于跨模態(tài)注意力機制的多模態(tài)個性識別方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114549946B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-13發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210159056.6，技術(shù)領(lǐng)域涉及：G06V10/80；該發(fā)明授權(quán)一種基于跨模態(tài)注意力機制的多模態(tài)個性識別方法及系統(tǒng)是由王甲海;王繼武設(shè)計研發(fā)完成，并于2022-02-21向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于跨模態(tài)注意力機制的多模態(tài)個性識別方法及系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種基于跨模態(tài)注意力機制的多模態(tài)個性識別方法及系統(tǒng)，方法包括以下步驟：S1：對視頻數(shù)據(jù)進行預(yù)處理，分別得到視頻數(shù)據(jù)中的音頻文件和視頻幀中的人臉圖像和場景圖像；S2：從音頻文件中提取聲音特征；S3：分別對人臉圖像和場景圖像進行圖像特征提取；S4：利用跨模注意力機制對提取的聲音特征和圖像特征進行深層特征提取；S5：將不同模態(tài)的深層特征進行加權(quán)特征融合，利用預(yù)設(shè)的全連接層計算個性分數(shù)，得到個性結(jié)果；S6：將預(yù)準備的視頻數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集，重復(fù)步驟S1?S5迭代訓(xùn)練，利用驗證集對訓(xùn)練后的模型進行驗證，保存驗證效果最好的模型用于個性識別。本發(fā)明提高了多模態(tài)個性識別的準確率。

本發(fā)明授權(quán)一種基于跨模態(tài)注意力機制的多模態(tài)個性識別方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種基于跨模態(tài)注意力機制的多模態(tài)個性識別方法，其特征在于，包括以下步驟：S1：對視頻數(shù)據(jù)進行預(yù)處理，分別得到視頻數(shù)據(jù)中的音頻文件和視頻幀中的人臉圖像和場景圖像；S2：從音頻文件中提取聲音特征；S3：分別對人臉圖像和場景圖像進行圖像特征提取；S4：利用跨模態(tài)注意力機制對提取的聲音特征和圖像特征進行深層特征提取；所述步驟S4中的具體過程為：S401：分別將聲音特征、人臉圖像特征、場景圖像特征三個模態(tài)特征通過雙向的GRU得到三個模態(tài)特征的上下文特征表示；S402：將三個模態(tài)特征的上下文特征表示利用跨模態(tài)注意力機制進行特征提取；S403：將通過跨模態(tài)注意力機制提取的各模態(tài)特征通過LSTM+attention層提取時序特征；所述跨模態(tài)注意力機制的數(shù)學表達式如下： Wf＝γ·αm+1-γ·βaWm＝SoftmaxWfXAtt＝WmXm其中，αm表示主模態(tài)的注意力矩陣，βa表示輔助模態(tài)的注意力矩陣，Wf表示經(jīng)過超參γ調(diào)制后的注意力矩陣，Wm經(jīng)過Softmax激活的權(quán)重矩陣，Qm和Km表示主模態(tài)的特征序列，Qa和Ka表示輔助模態(tài)的特征序列，tanh表示正切函數(shù)激活，γ表示輔助模態(tài)引入的權(quán)重，XAtt表示經(jīng)過跨模態(tài)注意力機制后的得到的特征序列；所述通過LSTM+attention層提取時序特征，其數(shù)學表達式如下：Ot，Ht＝biLSTMXAtt Wl＝SoftmaxWtZ＝Wl·Ot其中，Ot、Ht分別表示為LSTM的最后一層輸出和所有隱層輸出，Wt表示時序特征的注意力矩陣，Wl表示為每一個隱層特征對應(yīng)的權(quán)重，Z表示經(jīng)過加權(quán)后的序列特征，即每個模態(tài)提取的最終特征；S5：將不同模態(tài)的深層特征進行加權(quán)特征融合，利用預(yù)設(shè)的全連接層計算個性分數(shù)，得到個性結(jié)果；所述步驟S5中的具體過程為：S501：將步驟S4提取得到的三個模態(tài)的特征進行拼接；S502：通過兩層全連接激活和Softmax激活得到權(quán)重向量；S503：將拼接后的特征和權(quán)重向量相乘后輸入至預(yù)設(shè)的全連接層，輸出預(yù)測的個性分數(shù)；S6：將預(yù)準備的視頻數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集，重復(fù)步驟S1-S5迭代訓(xùn)練，利用驗證集對訓(xùn)練后的模型進行驗證，保存驗證效果最好的模型用于個性識別。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人中山大學，其通訊地址為：510275 廣東省廣州市海珠區(qū)新港西路135號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。