買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中南大學(xué)申請(qǐng)的專利一種基于注意力機(jī)制的跨模態(tài)哈希檢索方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119830222B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-06-03發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510300843.1，技術(shù)領(lǐng)域涉及：G06F18/25；該發(fā)明授權(quán)一種基于注意力機(jī)制的跨模態(tài)哈希檢索方法是由楊展;陳炳宏;李逸楠;龍軍設(shè)計(jì)研發(fā)完成，并于2025-03-14向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于注意力機(jī)制的跨模態(tài)哈希檢索方法在說明書摘要公布了：本申請(qǐng)公開了一種基于注意力機(jī)制的跨模態(tài)哈希檢索方法，包括：獲取第一多模態(tài)數(shù)據(jù)；將第一多模態(tài)數(shù)據(jù)輸入檢索與表示學(xué)習(xí)模型，得到目標(biāo)融合離散哈希碼，目標(biāo)融合離散哈希碼用于對(duì)第一多模態(tài)數(shù)據(jù)進(jìn)行檢索；其中，檢索與表示學(xué)習(xí)模型通過以下步驟得到：獲取多個(gè)訓(xùn)練樣本，訓(xùn)練樣本包括第二多模態(tài)數(shù)據(jù)和第一融合離散哈希碼；基于損失函數(shù)，將多個(gè)訓(xùn)練樣本輸入初始檢索與表示學(xué)習(xí)模型進(jìn)行模型迭代訓(xùn)練，直至損失函數(shù)值達(dá)到預(yù)設(shè)的收斂值，得到檢索與表示學(xué)習(xí)模型，其中，初始檢索與表示學(xué)習(xí)模型基于卷積神經(jīng)網(wǎng)絡(luò)、詞袋模型、Transformer編碼器和或跨模態(tài)注意力機(jī)制構(gòu)建。

本發(fā)明授權(quán)一種基于注意力機(jī)制的跨模態(tài)哈希檢索方法在權(quán)利要求書中公布了：1.一種基于注意力機(jī)制的跨模態(tài)哈希檢索方法，其特征在于，包括：獲取第一多模態(tài)數(shù)據(jù)；將所述第一多模態(tài)數(shù)據(jù)輸入檢索與表示學(xué)習(xí)模型，得到目標(biāo)融合離散哈希碼，所述目標(biāo)融合離散哈希碼用于對(duì)所述第一多模態(tài)數(shù)據(jù)進(jìn)行檢索；其中，所述檢索與表示學(xué)習(xí)模型通過以下步驟得到：獲取多個(gè)訓(xùn)練樣本，所述訓(xùn)練樣本包括第二多模態(tài)數(shù)據(jù)和第一融合離散哈希碼；基于損失函數(shù)，將多個(gè)所述訓(xùn)練樣本輸入初始檢索與表示學(xué)習(xí)模型進(jìn)行模型迭代訓(xùn)練，直至損失函數(shù)值達(dá)到預(yù)設(shè)的收斂值，得到所述檢索與表示學(xué)習(xí)模型，其中，所述初始檢索與表示學(xué)習(xí)模型基于卷積神經(jīng)網(wǎng)絡(luò)、詞袋模型、Transformer編碼器和或跨模態(tài)注意力機(jī)制構(gòu)建；所述模型迭代訓(xùn)練包括：利用所述初始檢索與表示學(xué)習(xí)模型中的卷積神經(jīng)網(wǎng)絡(luò)和詞袋模型提取第二多模態(tài)數(shù)據(jù)中的特征，得到文本特征值矩陣和圖像特征值矩陣；將所述文本特征值矩陣和所述圖像特征值矩陣輸入Transformer編碼器，生成第一文本表征矩陣和第一圖像表征矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的跨模態(tài)注意力機(jī)制，融合所述第一文本表征矩陣和所述第一圖像表征矩陣，得到第二文本表征矩陣和第二圖像表征矩陣；將所述文本特征值矩陣和所述圖像特征值矩陣輸入至所述初始檢索與表示學(xué)習(xí)模型中的相似度模塊，得到文本自相似矩陣和圖像自相似矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的第一融合模塊，融合所述文本自相似矩陣和所述圖像自相似矩陣，得到總體相似度矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的第二融合模塊，分別將所述文本自相似矩陣、所述圖像自相似矩陣與所述總體相似度矩陣融合，得到文本跨模態(tài)遷移矩陣和圖像跨模態(tài)遷移矩陣；將所述文本跨模態(tài)遷移矩陣和所述圖像跨模態(tài)遷移矩陣輸入至所述初始檢索與表示學(xué)習(xí)模型中的第三融合模塊，得到總體跨模態(tài)遷移矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的圖卷積網(wǎng)絡(luò)，根據(jù)所述第二文本表征矩陣、所述第二圖像表征矩陣和所述總體相似度矩陣，生成第三文本表征矩陣和第三圖像表征矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的第四融合模塊，融合所述第一文本表征矩陣、所述第一圖像表征矩陣和所述總體跨模態(tài)遷移矩陣，得到融合表征矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的線性層，將所述融合表征矩陣映射為融合連續(xù)值哈希碼；將所述融合連續(xù)值哈希碼輸入所述初始檢索與表示學(xué)習(xí)模型中的SIGN函數(shù)，得到第二融合離散哈希碼；對(duì)所述融合連續(xù)值哈希碼進(jìn)行自相似變換，得到融合哈希表征矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的全連接層，結(jié)合所述第三圖像表征矩陣和所述融合表征矩陣，得到第一單路哈希表征矩陣；利用所述初始檢索與表示學(xué)習(xí)模型中的全連接層，結(jié)合所述第三文本表征矩陣和所述融合表征矩陣，得到第二單路哈希表征矩陣；聯(lián)合所述第一單路哈希表征矩陣和所述第二單路哈希表征矩陣，得到多路聯(lián)合哈希表征矩陣；基于所述損失函數(shù)，根據(jù)所述第一單路哈希表征矩陣、所述第二單路哈希表征矩陣、所述總體相似度矩陣、所述融合哈希表征矩陣、所述多路聯(lián)合哈希表征矩陣和所述第一融合離散哈希碼，得到損失函數(shù)值；基于所述損失函數(shù)值，優(yōu)化所述初始檢索與表示學(xué)習(xí)模型。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中南大學(xué)，其通訊地址為：410083 湖南省長沙市岳麓區(qū)麓山南路932號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。