買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜哈爾濱工業(yè)大學(xué)(深圳)申請(qǐng)的專利基于圖像-文本重要性一致的跨模態(tài)檢索模型優(yōu)化方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN115146102B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210886765.4，技術(shù)領(lǐng)域涉及：G06F16/583；該發(fā)明授權(quán)基于圖像-文本重要性一致的跨模態(tài)檢索模型優(yōu)化方法是由陳芳林;劉澤軍;裴文杰;盧光明設(shè)計(jì)研發(fā)完成，并于2022-07-26向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于圖像-文本重要性一致的跨模態(tài)檢索模型優(yōu)化方法在說明書摘要公布了：本發(fā)明公開了基于圖像?文本重要性一致的跨模態(tài)檢索模型優(yōu)化方法。本發(fā)明提供的方法挖掘了圖像?文本對(duì)中的細(xì)粒度語(yǔ)義信息，實(shí)現(xiàn)了不同模態(tài)間更細(xì)粒度的對(duì)齊，有效提升跨模態(tài)檢索模型的檢索精度。

本發(fā)明授權(quán)基于圖像-文本重要性一致的跨模態(tài)檢索模型優(yōu)化方法在權(quán)利要求書中公布了：1.一種基于圖像-文本重要性一致的跨模態(tài)檢索模型優(yōu)化方法，其特征在于，所述方法包括：獲取初始跨模態(tài)檢索模型，所述初始跨模態(tài)檢索模型中包括目標(biāo)自注意力模塊；在訓(xùn)練集中選取目標(biāo)批次，所述目標(biāo)批次中包括至少一個(gè)第一圖文對(duì)，所述第一圖文對(duì)中包括互相匹配的第一樣本圖像和第一樣本文本，將所述第一樣本圖像對(duì)應(yīng)的圖像特征集和所述第一樣本文本對(duì)應(yīng)的文本特征集的連接特征輸入至所述目標(biāo)自注意力模塊中，其中，所述圖像特征集中包括多個(gè)所述第一樣本圖像的區(qū)域?qū)?yīng)的特征，所述文本特征集中包括多個(gè)所述第一樣本文本中的詞對(duì)應(yīng)的特征；獲取所述目標(biāo)自注意力模塊中的自注意力矩陣，所述自注意力矩陣基于子目標(biāo)注意力模塊中的查詢向量和鍵向量得到，根據(jù)所述圖像特征集中的特征數(shù)量和所述文本特征集中的特征數(shù)量對(duì)所述自注意力矩陣進(jìn)行分割，得到四個(gè)子矩陣，分別為第一子矩陣、第二子矩陣、第三子矩陣和第四子矩陣，其中，所述第一子矩陣的尺寸為NV*NV，所述第二子矩陣的尺寸為NV*NL，所述第三子矩陣的尺寸為NL*NV，所述第四子矩陣的尺寸為NL*NL，NV為所述圖像特征集中的特征數(shù)量，NL為所述文本特征集中的特征數(shù)量；根據(jù)所述第一子矩陣和所述第三子矩陣獲取所述第一樣本圖像對(duì)應(yīng)的第一模態(tài)內(nèi)語(yǔ)義重要性分布和第一模態(tài)間語(yǔ)義重要性分布，根據(jù)所述第二子矩陣和所述第四子矩陣獲取所述第一樣本文本對(duì)應(yīng)的第二模態(tài)間語(yǔ)義重要性分布和第二模態(tài)內(nèi)語(yǔ)義重要性分布；根據(jù)所述第一模態(tài)內(nèi)語(yǔ)義重要性分布和所述第一模態(tài)間語(yǔ)義重要性分布之間的一致性、以及所述第二模態(tài)內(nèi)語(yǔ)義重要性分布和所述第二模態(tài)間語(yǔ)義重要性分布之間的一致性確定訓(xùn)練損失，根據(jù)所述訓(xùn)練損失優(yōu)化所述初始跨模態(tài)檢索模型的參數(shù)；所述根據(jù)所述第一子矩陣和所述第三子矩陣獲取所述第一樣本圖像對(duì)應(yīng)的第一模態(tài)內(nèi)語(yǔ)義重要性分布和第一模態(tài)間語(yǔ)義重要性分布，包括：對(duì)所述第一子矩陣的每一列上的元素均執(zhí)行求和操作，得到第一模態(tài)內(nèi)語(yǔ)義重要性分?jǐn)?shù)，對(duì)各個(gè)所述第一模態(tài)內(nèi)語(yǔ)義重要性分?jǐn)?shù)進(jìn)行歸一化操作，得到所述第一模態(tài)內(nèi)語(yǔ)義重要性分布；對(duì)所述第三子矩陣的每一列上的元素均執(zhí)行求和操作，得到第一模態(tài)間語(yǔ)義重要性分?jǐn)?shù)，對(duì)各個(gè)所述第一模態(tài)間語(yǔ)義重要性分?jǐn)?shù)進(jìn)行歸一化操作，得到所述第一模態(tài)間語(yǔ)義重要性分布；所述根據(jù)所述第二子矩陣和所述第四子矩陣所述第一樣本文本對(duì)應(yīng)的第二模態(tài)間語(yǔ)義重要性分布和第二模態(tài)內(nèi)語(yǔ)義重要性分布，包括：對(duì)所述第二子矩陣的每一列上的元素均執(zhí)行求和操作，得到第二模態(tài)內(nèi)語(yǔ)義重要性分?jǐn)?shù)，對(duì)各個(gè)所述第二模態(tài)內(nèi)語(yǔ)義重要性分?jǐn)?shù)進(jìn)行歸一化操作，得到所述第二模態(tài)間語(yǔ)義重要性分布；對(duì)所述第四子矩陣的每一列上的元素均執(zhí)行求和操作，得到第二模態(tài)間語(yǔ)義重要性分?jǐn)?shù)，對(duì)各個(gè)所述第二模態(tài)間語(yǔ)義重要性分?jǐn)?shù)進(jìn)行歸一化操作，得到所述第二模態(tài)內(nèi)語(yǔ)義重要性分布。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人哈爾濱工業(yè)大學(xué)(深圳)，其通訊地址為：518055 廣東省深圳市南山區(qū)桃源街道深圳大學(xué)城哈爾濱工業(yè)大學(xué)校區(qū)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。