買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜華東師范大學(xué)申請的專利一種基于動態(tài)特征提取的結(jié)構(gòu)化圖片內(nèi)容識別方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN115019319B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210415242.1，技術(shù)領(lǐng)域涉及：G06V30/19；該發(fā)明授權(quán)一種基于動態(tài)特征提取的結(jié)構(gòu)化圖片內(nèi)容識別方法是由付英男;高明設(shè)計研發(fā)完成，并于2022-04-20向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于動態(tài)特征提取的結(jié)構(gòu)化圖片內(nèi)容識別方法在說明書摘要公布了：本發(fā)明公開了一種基于動態(tài)特征選擇的結(jié)構(gòu)化圖片內(nèi)容識別方法，其特點是采用動態(tài)特征選擇機制，從大尺寸特征圖中選擇部分有用的特征向量以去除特征圖中的冗余特征，對其進(jìn)行動態(tài)偏移，并將相對位置編碼和位置環(huán)境信息引入到空間關(guān)系編碼器中，提取更復(fù)雜的字符空間關(guān)系，具體包括：1）細(xì)粒度視覺特征提取；2）動態(tài)特征選擇；3）空間關(guān)系提取；4）文本解碼；5）模型訓(xùn)練等步驟。本發(fā)明與現(xiàn)有技術(shù)相比具有方法簡便，準(zhǔn)確率高，不但減小了空間關(guān)系編碼器的計算開銷，還增強了模型的泛化能力，進(jìn)一步提升了結(jié)構(gòu)化圖像內(nèi)容識別的準(zhǔn)確，應(yīng)用前景良好。

本發(fā)明授權(quán)一種基于動態(tài)特征提取的結(jié)構(gòu)化圖片內(nèi)容識別方法在權(quán)利要求書中公布了：1.一種基于動態(tài)特征選擇的結(jié)構(gòu)化圖片內(nèi)容識別方法，其特征在于采用動態(tài)特征選擇機制，從大尺寸特征圖中選擇部分有用的特征向量以去除特征圖中的冗余特征，對其進(jìn)行動態(tài)偏移，并將相對位置編碼和位置環(huán)境信息引入到空間關(guān)系編碼器中，提取更復(fù)雜的字符空間關(guān)系，結(jié)構(gòu)化圖片內(nèi)容的識別具體包括如下步驟：一、細(xì)粒度視覺特征提取使用小感受野的卷積神經(jīng)網(wǎng)絡(luò)提取輸入結(jié)構(gòu)化圖像的細(xì)粒度視覺特征，計算特征圖中特征向量的絕對位置編碼，將絕對位置編碼與細(xì)粒度視覺特征進(jìn)行融合；所述細(xì)粒度視覺特征提取具體步驟如下：步驟1：使用帶小感受野的卷積神經(jīng)網(wǎng)絡(luò)，對輸入圖像進(jìn)行編碼，得到下述a式表示的特征圖V：V＝{vi，j|i＝1，...，H；j＝1...，W}a；其中：H和W分別是特征圖的高度和寬度；步驟2：使用兩個嵌入矩陣，將每個特征向量vi，j的行、列坐標(biāo)i和j分別編碼為兩個d2維的位置向量，對其拼接后得到d維絕對位置編碼向量pi，j；步驟3：把vi，j和pi，j進(jìn)行相加，得到下述b式表示的細(xì)粒度特征集合E： 其中，ei，j＝vi，j+pi，j；二、動態(tài)特征選擇使用全連接神經(jīng)網(wǎng)絡(luò)判斷細(xì)粒度視覺特征中每一個特征向量代表的字符類型，定義可用于進(jìn)行特征選擇的損失函數(shù)，設(shè)定選擇特征的比例參數(shù)，確定特征圖中有效特征的坐標(biāo)；定義動態(tài)偏移分布，將被選擇的坐標(biāo)根據(jù)分布進(jìn)行動態(tài)偏移，得到最終的特征向量；所述動態(tài)特征選擇具體步驟如下：步驟4：用全連接神經(jīng)網(wǎng)絡(luò)，對ei，j進(jìn)行字符預(yù)測，得到字符預(yù)測的概率分布ai，j；步驟5：按字符類別將所有特征向量預(yù)測的概率分布由下述c式做累加并歸一化： 其中，k表示第k個字符；步驟6：將每張圖片標(biāo)簽中出現(xiàn)的字符按字符類別統(tǒng)計出現(xiàn)的次數(shù)，并由下述d式將其進(jìn)行歸一化： 其中，k表示第k個字符；步驟7：由下述e式計算特征選擇loss： 其中：α是被選擇特征占全體特征的比例；∈表示background的類型；C是詞典中所有字符的個數(shù)；步驟8：選擇被預(yù)測為非背景類型的特征向量，并由下述f式記錄它們的坐標(biāo)值集合Aloc：Aloc＝{h1，w1，h2，w2，...，hm，wm}f；步驟9：定義坐標(biāo)i，j為中心點的概率分布pi，j，按照pi，j進(jìn)行采樣，并由下述g～h式得到i，j坐標(biāo)的偏移坐標(biāo)： 步驟10：按照步驟9得到的偏移坐標(biāo)，將步驟3得到的集合E中的向量取出，得到由下述i式表示的被選擇特征集合A： 三、空間關(guān)系提取在被選擇的特征中，計算每一對特征向量在完整特征圖中的相對位置編碼，計算每一個特征向量在完整特征圖中的位置環(huán)境信息，使用融合了相對位置編碼和位置環(huán)境信息的空間關(guān)系提取器提取特征向量之間的空間關(guān)系；所述空間關(guān)系提取具體步驟為：步驟11：計算集合A中每一對特征向量坐標(biāo)的行、列相對位置，并使用兩個嵌入矩陣對行、列相對位置進(jìn)行編碼；步驟12：定義一個和原始特征圖大小一致的掩碼矩陣，將集合A中向量坐標(biāo)的位置記為1，其他位置記為0；步驟13：使用卷積神經(jīng)網(wǎng)絡(luò)對掩碼矩陣進(jìn)行編碼，輸出和掩碼矩陣大小相等的位置環(huán)境信息特征圖，并按照A中特征向量的坐標(biāo)在特征圖中選擇出對應(yīng)的向量，得到下述j式表示的位置環(huán)境信息集合S：S＝{s1，s2，...，sm}j；其中，si是ai對應(yīng)的位置環(huán)境信息；步驟14：由下述k式定義融合了相對位置編碼和位置環(huán)境信息的注意力機制： 步驟15：使用背景模型，并用步驟14定義的注意力機制替換背景中的原始注意力機制，為步驟10中的A集合編碼，輸出得到下述l式表示的集合U：U＝{u1，u2，...，um}l；四、文本解碼使用用于文本生成的解碼模型，解碼得到結(jié)構(gòu)化圖像內(nèi)容的文本序列；五、模型訓(xùn)練使用優(yōu)化器對動態(tài)特征選擇步驟中的損失函數(shù)進(jìn)行訓(xùn)練，更新相關(guān)的部分參數(shù)，然后定義總損失函數(shù)，并使用優(yōu)化器對全部參數(shù)進(jìn)行更新，得到結(jié)構(gòu)化圖片內(nèi)容的文本序列。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人華東師范大學(xué)，其通訊地址為：200241 上海市閔行區(qū)東川路500號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。