買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜上海優(yōu)玩網(wǎng)絡(luò)科技有限公司申請(qǐng)的專利一種結(jié)合圖像描述和文本生成圖像的視覺語言導(dǎo)航方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN117571014B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202311520271.5，技術(shù)領(lǐng)域涉及：G01C21/36；該發(fā)明授權(quán)一種結(jié)合圖像描述和文本生成圖像的視覺語言導(dǎo)航方法是由袁正午;唐培賢;邵文;楊浩;張哲齊設(shè)計(jì)研發(fā)完成，并于2023-11-15向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種結(jié)合圖像描述和文本生成圖像的視覺語言導(dǎo)航方法在說明書摘要公布了：本發(fā)明涉及一種結(jié)合圖像描述和文本生成圖像的視覺語言導(dǎo)航方法，屬于視覺語言導(dǎo)航技術(shù)領(lǐng)域。該方法為：獲取視覺語言導(dǎo)航任務(wù)的自然語言目標(biāo)指令和當(dāng)前所處位置的視覺圖像；通過場(chǎng)景描述模塊生成基于當(dāng)前場(chǎng)景的詳盡自然語言描述；通過文本生成圖像模型生成與所描述場(chǎng)景有著類似核心物品對(duì)象以及核心場(chǎng)景布局的相似場(chǎng)景；將當(dāng)前場(chǎng)景和對(duì)應(yīng)相似場(chǎng)景通過多層Transformer結(jié)構(gòu)和細(xì)尺度跨模態(tài)編碼器進(jìn)行編碼；將當(dāng)前場(chǎng)景編碼和相似場(chǎng)景編碼動(dòng)態(tài)融合生成綜合考慮了當(dāng)前真實(shí)場(chǎng)景和對(duì)應(yīng)相似場(chǎng)景的融合動(dòng)作預(yù)測(cè)。該方法通過為任務(wù)訓(xùn)練提供額外的視覺數(shù)據(jù)輸入，解決了視覺語言導(dǎo)航任務(wù)的數(shù)據(jù)稀缺問題，提高了智能體的任務(wù)性能和模型的泛化能力。

本發(fā)明授權(quán)一種結(jié)合圖像描述和文本生成圖像的視覺語言導(dǎo)航方法在權(quán)利要求書中公布了：1.一種結(jié)合圖像描述和文本生成圖像的視覺語言導(dǎo)航方法，其特征在于：該方法包括以下步驟：S1：獲取視覺語言導(dǎo)航任務(wù)的自然語言目標(biāo)指令以及當(dāng)前場(chǎng)景所處位置的視覺圖像；S2：基于S1獲得的全景視覺圖像，通過場(chǎng)景描述模塊生成描述了當(dāng)前場(chǎng)景所處位置的所屬房間類型、核心物品對(duì)象、核心物品對(duì)象間關(guān)系以及核心場(chǎng)景布局的詳盡自然語言圖像描述；S3：將S2中生成的詳盡自然語言圖像描述作為文本生成圖像模型的輸入，最終生成與所描述場(chǎng)景有著類似核心物品對(duì)象以及核心場(chǎng)景布局的相似場(chǎng)景；S4：將S1中的視覺圖像以及S3中基于當(dāng)前場(chǎng)景生成的相似場(chǎng)景圖像分別通過多層Transformer結(jié)構(gòu)提取視覺特征，同時(shí)將S1中的自然語言目標(biāo)指令通過文本編碼器得到目標(biāo)指令編碼，隨后結(jié)合目標(biāo)指令編碼將提取得到的兩種視覺特征通過細(xì)尺度跨模態(tài)編碼器進(jìn)行編碼，最終生成當(dāng)前場(chǎng)景編碼和相似場(chǎng)景編碼；S5：將S4中生成的當(dāng)前場(chǎng)景編碼和相似場(chǎng)景編碼通過交叉注意力層生成視覺增強(qiáng)場(chǎng)景融合特征，并將其注入到線性前饋網(wǎng)絡(luò)，再通過Softmax激活函數(shù)基于當(dāng)前所有可航點(diǎn)生成對(duì)下一步執(zhí)行動(dòng)作的視覺增強(qiáng)動(dòng)作預(yù)測(cè)，將視覺增強(qiáng)動(dòng)作預(yù)測(cè)和基準(zhǔn)專家動(dòng)作進(jìn)行交叉熵運(yùn)算，生成增強(qiáng)動(dòng)作損失，即通過監(jiān)督視覺增強(qiáng)動(dòng)作預(yù)測(cè)來指導(dǎo)視覺增強(qiáng)場(chǎng)景融合特征的學(xué)習(xí)，通過公式描述為： 其中,t表示當(dāng)前時(shí)間步驟，表示視覺增強(qiáng)場(chǎng)景融合特征，Cross–Attn表示交叉注意力層，表示當(dāng)前場(chǎng)景編碼，表示相似場(chǎng)景編碼，表示視覺增強(qiáng)動(dòng)作預(yù)測(cè)，F(xiàn)FN表示線性前饋網(wǎng)絡(luò)，表示增強(qiáng)動(dòng)作預(yù)測(cè)損失，CrossEntropy表示交叉熵?fù)p失函數(shù)，表示基準(zhǔn)專家動(dòng)作；S6：更進(jìn)一步地，在每一時(shí)間步驟，通過線性前饋網(wǎng)絡(luò)和Sigmoid激活函數(shù)聚合S4中生成的當(dāng)前場(chǎng)景編碼與S5中生成的視覺增強(qiáng)場(chǎng)景融合特征，為動(dòng)態(tài)融合S5中的視覺增強(qiáng)動(dòng)作預(yù)測(cè)和基于當(dāng)前場(chǎng)景所作出的動(dòng)作預(yù)測(cè)生成動(dòng)態(tài)融合權(quán)重： 其中，σt表示可學(xué)習(xí)的動(dòng)態(tài)融合權(quán)重，基于此，最終的導(dǎo)航?jīng)Q策表示為： 其中，表示綜合考慮了當(dāng)前真實(shí)場(chǎng)景和對(duì)應(yīng)相似場(chǎng)景的融合動(dòng)作預(yù)測(cè)，最后將融合動(dòng)作預(yù)測(cè)與基準(zhǔn)專家動(dòng)作進(jìn)行交叉熵計(jì)算： 其中，表示融合動(dòng)作預(yù)測(cè)損失，通過監(jiān)督融合動(dòng)作預(yù)測(cè)來指導(dǎo)整個(gè)決策過程的學(xué)習(xí)。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人上海優(yōu)玩網(wǎng)絡(luò)科技有限公司，其通訊地址為：201800 上海市嘉定區(qū)真南路4268號(hào)2幢JT12838室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。