買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉東南大學(xué)申請(qǐng)的專利融合表情信息的密集視頻描述方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114694062B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-21發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210257432.5，技術(shù)領(lǐng)域涉及：G06V20/40；該發(fā)明授權(quán)融合表情信息的密集視頻描述方法及系統(tǒng)是由劉波;王陶然;汪銘;胡明芮;曹玖新設(shè)計(jì)研發(fā)完成，并于2022-03-16向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本融合表情信息的密集視頻描述方法及系統(tǒng)在說明書摘要公布了：本發(fā)明公開了一種融合表情信息的密集視頻描述方法及系統(tǒng)，本發(fā)明的方法步驟如下：首先利用預(yù)訓(xùn)練好的I3D模型和InceptionV3模型分別提取視頻的動(dòng)態(tài)特征和行為類別特征；再基于視頻上下文截取若干可能存在行為的視頻片段，并為其各生成描述性文本；之后根據(jù)視頻片段的視覺和文本信息，對(duì)候選人物的行為進(jìn)行識(shí)別和跟蹤；根據(jù)視覺和音頻信息，預(yù)測(cè)行為主體表情類別；根據(jù)文本和表情信息，構(gòu)建模型，生成融合表情信息的密集視頻描述。系統(tǒng)采用web交互技術(shù)實(shí)現(xiàn)描述生成結(jié)果的可視化展示。本發(fā)明可以有效提高生成描述的準(zhǔn)確性及豐富性，魯棒性強(qiáng)。此外，結(jié)合語音合成等技術(shù)，本發(fā)明還能幫助視障人士較好的理解視頻。

本發(fā)明授權(quán)融合表情信息的密集視頻描述方法及系統(tǒng)在權(quán)利要求書中公布了：1.一種融合表情信息的密集視頻描述方法，其特征在于，該方法包括以下步驟：1視頻特征提取對(duì)視頻進(jìn)行幀率統(tǒng)一的預(yù)處理，利用預(yù)訓(xùn)練好的I3D模型提取幀率統(tǒng)一預(yù)處理后的視頻的動(dòng)態(tài)特征，并利用預(yù)訓(xùn)練好的InceptionV3模型提取幀率統(tǒng)一預(yù)處理后的視頻的行為類別特征；2密集視頻概要描述生成根據(jù)步驟1中得到的視頻的動(dòng)態(tài)特征以及行為類別特征，從給定的一段視頻中，截取若干最有可能存在行為的視頻片段，根據(jù)視頻片段的視覺信息，選擇一組含有高度相關(guān)行為的視頻片段，并針對(duì)視頻片段生成一條描述性語句；步驟2具體包括步驟：2-1根據(jù)步驟1得到的視頻的動(dòng)態(tài)特征V＝{v1,v2,…,vT}，其中vi，i＝1…T表示每幀視頻的行為類別特征，T表示該視頻抽幀的數(shù)量，利用雙向SST算法，使用正向流和反向流信息，在每個(gè)時(shí)間步計(jì)算相應(yīng)視頻片段存在行為的概率，各行為片段的綜合置信度分?jǐn)?shù)Cp，計(jì)算公式如下： 其中表示正向流置信度分?jǐn)?shù)，表示反向流置信度分?jǐn)?shù)，N表示時(shí)間步的數(shù)目，的計(jì)算方式如下： 其中σ表示Sigmoid函數(shù)，表示在時(shí)間步t時(shí)的視頻流置信度分?jǐn)?shù)，表示在時(shí)間步t時(shí)LSTM單元的隱藏狀態(tài)，是表示比例系數(shù)的訓(xùn)練參數(shù)，bc是表示偏移系數(shù)的訓(xùn)練參數(shù)，輸出最終置信度分?jǐn)?shù)高于閾值的行為片段集合P，P可形式化表示為：P＝{p1,p2,…,pM} 其中pi，i＝1…M表示最終置信度分?jǐn)?shù)高于閾值的每個(gè)行為片段，表示行為片段pi的開始時(shí)間，表示行為片段pi的結(jié)束時(shí)間，表示反向流LSTM單元在行為片段pi開始時(shí)間步的隱藏狀態(tài)，表示正向流LSTM單元在行為片段pi結(jié)束時(shí)間步的隱藏狀態(tài)；2-2對(duì)于行為片段集合P，根據(jù)指針網(wǎng)絡(luò)，利用注意力機(jī)制，使用循環(huán)神經(jīng)網(wǎng)絡(luò)輸出關(guān)于輸入序列的概率分布，在每個(gè)時(shí)間步計(jì)算關(guān)于行為片段集合P的權(quán)值at，at的計(jì)算方式如下： 其中ATT·表示Attention函數(shù)，表示當(dāng)前指針ptr對(duì)應(yīng)的LSTM單元的隱藏狀態(tài)，upi通過以下方式計(jì)算得到：upi＝[Locpi,Vispi]5Vispi表示行為片段pi的視覺特征，Locpi表示行為片段pi在整個(gè)視頻中的位置；將權(quán)值at作為選擇各行為片段的概率，選擇概率最高的輸入元素作為輸出，從而實(shí)現(xiàn)從候選行為片段中選擇一組高度相關(guān)的行為片段的目標(biāo)；2-3使用動(dòng)態(tài)注意力機(jī)制以及門控機(jī)制融合行為類別信息、上下文視覺信息以及當(dāng)前行為片段視覺信息，利用融合后的視覺信息生成描述，對(duì)于行為片段根據(jù)其時(shí)間戳從動(dòng)態(tài)特征序列V＝{v1,v2,…,vT}中提取pi對(duì)應(yīng)的動(dòng)態(tài)特征集合作為當(dāng)前行為片段視覺信息；行為類別特征序列E表示如下： 其中b表示行為類別總數(shù)，Prli表示行為片段的行為類別是li的概率，L表示視頻幀數(shù)；從行為類別特征序列E＝{e1,e2,…,eL}中提取pi對(duì)應(yīng)的行為類別特征集合Ei，對(duì)Ei進(jìn)行平均池化操作得到行為類別特征η，使用LSTM作為解碼器生成描述，在時(shí)間步t，輸入解碼器LSTM的視覺信息Ftpi形式化表示為： 其中Ht-1是解碼器在時(shí)間步t-1的隱藏狀態(tài)，n表示總的行為片段數(shù)，m表示當(dāng)前行為片段編號(hào)；使用動(dòng)態(tài)注意力機(jī)制來融合當(dāng)前行為片段視覺信息中的I3D特征計(jì)算方式如下所示： 表示第i+m-1個(gè)I3D特征vi+m-1對(duì)應(yīng)的權(quán)值，其通過如下方式計(jì)算： 表示I3D特征vk+m-1對(duì)應(yīng)的相關(guān)性分?jǐn)?shù)，表示I3D特征vi+m-1對(duì)應(yīng)的相關(guān)性分?jǐn)?shù)，計(jì)算方式如下所示： 其中，是解碼器在時(shí)間步hi內(nèi)的向量拼接表示，WV，Wh，WH分別表示其中每一項(xiàng)的參數(shù)，tanh·表示雙曲正切函數(shù)，之后，利用類似LSTM門控機(jī)制的方法，將視覺特征與上下文視覺信息融合，通過門控信號(hào)gct，控制當(dāng)前行為片段及其上下文視覺信息對(duì)描述生成的影響；生成的描述形式化表示為：其中和分別表示語句Si對(duì)應(yīng)視頻片段的開始和結(jié)束時(shí)間；表示融合表情信息的密集視頻描述，表示第i個(gè)視頻片段的描述，Mx表示語句數(shù)量， 表示一個(gè)語句，w表示單詞，wk∈{angry,disgust,fear,happy,netural,sad,surprise}；3行為識(shí)別與主體定位利用目標(biāo)檢測(cè)算法檢測(cè)視頻片段前k＝16幀中的人物，定位人體區(qū)域，分析描述性語句的主語，排除不相符的人體區(qū)域，然后利用目標(biāo)跟蹤算法DeepSort定位各人物在視頻中的位置，并利用孿生網(wǎng)絡(luò)進(jìn)行關(guān)聯(lián)，減少目標(biāo)跟蹤丟失的情況，再利用行為識(shí)別算法得出各人物的行為類別概率分布，并根據(jù)描述性語句中的行為信息，識(shí)別出最有可能是行為主體的人物，輸出該人物的位置信息；4行為主體表情識(shí)別根據(jù)步驟3得到的人物的位置信息，融合靜態(tài)圖像信息、時(shí)序信息以及音頻信息，進(jìn)行行為主體表情識(shí)別；5構(gòu)建融合表情信息的密集視頻描述模型根據(jù)步驟2和步驟4的輸出，利用依存關(guān)系分析算法解析描述性語句，提取句子成分，利用語法規(guī)則生成新的描述性語句，得到融合表情信息的密集視頻描述；6系統(tǒng)功能展示。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人東南大學(xué)，其通訊地址為：210096 江蘇省南京市玄武區(qū)四牌樓2號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。