買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜深圳大學(xué)申請的專利多模態(tài)特征嵌入的室內(nèi)三維場景理解方法及終端獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN118968271B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-04-04發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411436931.6，技術(shù)領(lǐng)域涉及：G06V20/00；該發(fā)明授權(quán)多模態(tài)特征嵌入的室內(nèi)三維場景理解方法及終端是由湯圣君;王偉璽;蔡本合;李曉明;謝林甫;郭仁忠設(shè)計研發(fā)完成，并于2024-10-15向國家知識產(chǎn)權(quán)局提交的專利申請。

本多模態(tài)特征嵌入的室內(nèi)三維場景理解方法及終端在說明書摘要公布了：本發(fā)明公開了一種多模態(tài)特征嵌入的室內(nèi)三維場景理解方法及終端，方法包括：獲取二維圖像以及預(yù)處理后的點云數(shù)據(jù)，并對所述二維圖像以及所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行多模態(tài)特征提取；將提取到的多模態(tài)特征進(jìn)行融合得到多模態(tài)融合特征，通過所述多模態(tài)融合特征優(yōu)化多模態(tài)特征嵌入式室內(nèi)三維場景理解模型；根據(jù)所述多模態(tài)特征嵌入式室內(nèi)三維場景理解模型對所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行語義特征的提取，并輸出語義分類優(yōu)化結(jié)果；本發(fā)明提出新的基于Transformer的3D語義實例分割模型結(jié)合多模態(tài)特征進(jìn)行室內(nèi)三維場景理解的方法，提高室內(nèi)三維場景理解的準(zhǔn)確性和全面性。

本發(fā)明授權(quán)多模態(tài)特征嵌入的室內(nèi)三維場景理解方法及終端在權(quán)利要求書中公布了：1.一種多模態(tài)特征嵌入的室內(nèi)三維場景理解方法，其特征在于，包括：獲取二維圖像以及預(yù)處理后的點云數(shù)據(jù)，并對所述二維圖像以及所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行多模態(tài)特征提取；將提取到的多模態(tài)特征進(jìn)行融合得到多模態(tài)融合特征，通過所述多模態(tài)融合特征優(yōu)化多模態(tài)特征嵌入式室內(nèi)三維場景理解模型；根據(jù)所述多模態(tài)特征嵌入式室內(nèi)三維場景理解模型對所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行語義特征的提取，并輸出優(yōu)化后的實例掩碼以及優(yōu)化后的語義信息；所述獲取二維圖像以及預(yù)處理后的點云數(shù)據(jù)，并對所述二維圖像以及所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行多模態(tài)特征提取，包括：獲取所述二維圖像，通過目標(biāo)識別與提取得到對應(yīng)單個目標(biāo)的掩碼，并通過語言-圖像對比預(yù)訓(xùn)練模型進(jìn)行視覺特征提取，得到二維單個目標(biāo)全局特征；獲取所述預(yù)處理后的點云數(shù)據(jù)，對所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行多模態(tài)特征提取，并通過基于深度學(xué)習(xí)的3D語義實例分割模型進(jìn)行實例分割，得到基于語義全局特征、單個實例全局特征和基于多視圖融合全局特征；所述對所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行多模態(tài)特征提取，并通過基于深度學(xué)習(xí)的3D語義實例分割模型進(jìn)行實例分割，得到基于語義全局特征、單個實例全局特征和基于多視圖融合全局特征，包括：對所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行語義分割并生成對應(yīng)的樣本標(biāo)簽，根據(jù)所述樣本標(biāo)簽提取出對應(yīng)的類型語義，對所述類型語義進(jìn)行語義特征編碼得到所述基于語義全局特征；通過所述基于深度學(xué)習(xí)的3D語義實例分割模型對所述預(yù)處理后的點云數(shù)據(jù)進(jìn)行實例分割，提取單個實例，并通過實例特征編碼得到所述單個實例全局特征；根據(jù)所述基于深度學(xué)習(xí)的3D語義實例分割模型分割得到的實例結(jié)果，提取對應(yīng)的實例掩碼和對應(yīng)的語義信息，根據(jù)所述實例掩碼和對應(yīng)的語義信息進(jìn)行多視深度圖投影，得到多視深度圖；通過語言-圖像對比預(yù)訓(xùn)練模型進(jìn)行多視圖特征提取，并將所述多視圖特征進(jìn)行聚合，通過融合特征編碼得到所述基于多視圖融合全局特征；所述將提取到的多模態(tài)特征進(jìn)行融合得到多模態(tài)融合特征，通過所述多模態(tài)融合特征優(yōu)化多模態(tài)特征嵌入式室內(nèi)三維場景理解模型，包括：將所述二維單個目標(biāo)全局特征、所述基于語義全局特征、所述單個實例全局特征和所述基于多視圖融合全局特征進(jìn)行融合，得到所述多模態(tài)融合特征；通過所述多模態(tài)融合特征對所述多模態(tài)特征嵌入式室內(nèi)三維場景理解模型進(jìn)行再訓(xùn)練調(diào)參，優(yōu)化模型參數(shù)配置；所述將所述二維單個目標(biāo)全局特征、所述基于語義全局特征、所述單個實例全局特征和所述基于多視圖融合全局特征進(jìn)行融合，得到所述多模態(tài)融合特征，包括：對所述二維單個目標(biāo)全局特征、所述基于語義全局特征、所述單個實例全局特征和所述基于多視圖融合全局特征進(jìn)行文本生成和文本對齊的操作，得到對齊后的多模態(tài)特征；將所述對齊后的多模態(tài)特征進(jìn)行融合，得到所述多模態(tài)融合特征。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人深圳大學(xué)，其通訊地址為：518061 廣東省深圳市南山區(qū)粵海街道南海大道3688號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。