買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜云南師范大學申請的專利一種基于文本語義引導(dǎo)和自適應(yīng)特征聚合的圖文檢索方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN120030208B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-06-20發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510500473.6，技術(shù)領(lǐng)域涉及：G06F16/907；該發(fā)明授權(quán)一種基于文本語義引導(dǎo)和自適應(yīng)特征聚合的圖文檢索方法是由王俊;谷亞婕;陳甘;王明杰;梅嘉恬;周菊香設(shè)計研發(fā)完成，并于2025-04-21向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于文本語義引導(dǎo)和自適應(yīng)特征聚合的圖文檢索方法在說明書摘要公布了：本發(fā)明涉及一種基于文本語義引導(dǎo)和自適應(yīng)特征聚合的圖文檢索方法，屬于計算機視覺、圖像處理、自然語言處理等相關(guān)領(lǐng)域。該方法通過識別圖像中與文本描述最為相關(guān)的圖像塊，采用硬化分的方法降低圖像塊的冗余度，突出關(guān)鍵的細粒度特征并過濾不必要的冗余信息，使圖像特征表示更加緊湊，實現(xiàn)有效的特征凈化。其次，基于凈化后的圖像特征，在圖像文本匹配前引入自適應(yīng)聚合策略，在單模態(tài)特征的每個維度上選擇最具代表性特征進行聚合，實現(xiàn)更高效準確的圖文檢索。本發(fā)明通過優(yōu)化圖像特征的冗余過濾和跨模態(tài)對齊，有效解決了當前傳統(tǒng)檢索方法中不同模態(tài)之間的語義鴻溝以及準確率低的問題，更好地滿足用戶對跨模態(tài)圖文檢索的實際需求。

本發(fā)明授權(quán)一種基于文本語義引導(dǎo)和自適應(yīng)特征聚合的圖文檢索方法在權(quán)利要求書中公布了：1.一種基于文本語義引導(dǎo)和自適應(yīng)特征聚合的圖文檢索方法，其特征在于，所述方法的具體步驟如下：Step1：提取圖像和文本的特征；Step2：對提取的圖像特征進行增強；Step3：對增強后的圖像特征計算圖像模態(tài)內(nèi)和圖像文本模態(tài)間的顯著性分數(shù)，獲得凈化后的圖像特征；Step4：基于凈化后的圖像特征，引入自適應(yīng)聚合特征方法獲得包含了圖像與文本各自模態(tài)內(nèi)的關(guān)鍵信息的全局特征向量；Step5：基于得到的全局特征向量，計算圖像特征和文本特征之間的相似度，完成圖文檢索；所述Step2的具體步驟為：采用如下公式進行圖像特征的增強： ； ；其中，是生成的注意力權(quán)重，mlp表示將經(jīng)過maxpooling最大池化和avgpooling平均池化的特征送入多層感知機中，表示將輸出限制在0,1范圍內(nèi)，是增強后的圖像塊特征，然后與原始特征R相加后獲得圖像塊嵌入；所述Step3的具體步驟為：Step3.1：將圖像塊的特征表示與文本序列的嵌入向量進行交互，通過交叉注意力為每個圖像塊生成一個與文本相關(guān)的顯著性分數(shù)；Step3.2：基于圖像內(nèi)部各元素之間的相互作用，通過自注意力機制揭示圖像內(nèi)部的顯著性特征，計算每個圖像塊相對于其他圖像塊的顯著性分數(shù)；Step3.3：通過引入權(quán)重參數(shù)將圖像文本模態(tài)間和圖像模態(tài)內(nèi)的顯著性分數(shù)進行加權(quán)融合，得出一個綜合的顯著性得分；Step3.4：將得到的綜合的顯著性得分轉(zhuǎn)化為一個二進制決策矩陣，定義一個選擇比率γ，決定在N個圖像塊中，得分最高的前個圖像塊將被選擇，此時對應(yīng)決策矩陣元素為1，而其余的圖像塊則不被選擇，此時對應(yīng)決策矩陣元素為0；Step3.5：將二進制決策矩陣，作為掩碼作用于原始特征R，通過保留所有對應(yīng)的特征行，得到最終凈化后的圖像特征，其中表示為凈化后的圖像塊特征向量；所述Step4的具體步驟為：采用如下公式進行特征的聚合： ； ；其中，和分別是圖像和文本在維度j上的特征值，是選擇每個維度上最大特征值的函數(shù)，是圖像或者文本的最終全局特征表示，表示每個特征維度上的特征值。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人云南師范大學，其通訊地址為：650500 云南省昆明市呈貢區(qū)聚賢街768號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。