恭喜北京大學黃舟獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)恭喜北京大學申請的專利基于擴散模型和多模態(tài)大語言模型的遙感影像超分辨率方法及產品獲國家發(fā)明授權專利權,本發(fā)明授權專利權由國家知識產權局授予,授權公告號為:CN119722462B 。
龍圖騰網(wǎng)通過國家知識產權局官網(wǎng)在2025-05-27發(fā)布的發(fā)明授權授權公告中獲悉:該發(fā)明授權的專利申請?zhí)?專利號為:202510221647.5,技術領域涉及:G06T3/4053;該發(fā)明授權基于擴散模型和多模態(tài)大語言模型的遙感影像超分辨率方法及產品是由黃舟;盧立靜;鮑毅;齊厚基設計研發(fā)完成,并于2025-02-27向國家知識產權局提交的專利申請。
本基于擴散模型和多模態(tài)大語言模型的遙感影像超分辨率方法及產品在說明書摘要公布了:本申請?zhí)峁┝艘环N基于擴散模型和多模態(tài)大語言模型的遙感影像超分辨率方法,涉及圖像處理技術領域。該方法采用了預訓練的穩(wěn)定擴散模型,該模型是在大規(guī)模數(shù)據(jù)集上訓練的,能夠實現(xiàn)穩(wěn)定和詳細的超分辨率效果,并具有更快的收斂速度。本申請還使用多模態(tài)大語言模型來增強模型的語義理解能力,提供詳細的內容描述和紋理描述。本申請還引入了一個額外的分類器,它提供了關于LR的全局信息和簡潔信號。這些先驗信息通過交叉注意力模塊自適應地集成到擴散模型中。最后,通過將穩(wěn)定擴散模型強大的生成能力與MLLM的語義理解能力相結合,本申請?zhí)岢龅姆椒ㄔ谥亟ㄟb感圖像方面表現(xiàn)出色,在不同數(shù)據(jù)集上的多個圖像質量方面實現(xiàn)了優(yōu)異的性能。
本發(fā)明授權基于擴散模型和多模態(tài)大語言模型的遙感影像超分辨率方法及產品在權利要求書中公布了:1.基于擴散模型和多模態(tài)大語言模型的遙感影像超分辨率方法,其特征在于,所述方法包括:基于多模態(tài)大語言模型獲取低分辨率遙感影像的內容描述信息和紋理描述信息;基于分類器獲取所述低分辨率遙感影像的全局類別;基于穩(wěn)定擴散模型對所述低分辨率遙感影像、低分辨率遙感影像的內容描述信息和紋理描述信息以及所述低分辨率遙感影像的全局類別進行處理,得到超分辨率遙感影像;通過穩(wěn)定擴散模型對所述低分辨率遙感影像、低分辨率遙感影像的內容描述信息和紋理描述信息以及所述低分辨率遙感影像的全局類別進行處理,得到超分辨率遙感影像,包括:基于變分自編碼器對所述低分辨率遙感影像進行處理,得到潛在表示;基于文本編碼器對所述低分辨率遙感影像的內容描述信息和紋理描述信息進行編碼,得到描述編碼信息,所述描述編碼信息通過交叉注意力模塊與所述潛在表示進行交互;基于類別感知編碼器對所述低分辨率遙感影像的全局類別進行編碼,得到類別編碼信息,所述類別編碼信息通過空間特征變換調制穩(wěn)定擴散模型的U-Net架構殘差塊中的中間特征圖;基于所述U-Net架構得到無噪聲的潛在表示,基于變分自解碼器得到超分辨率遙感影像;所述分類器和所述穩(wěn)定擴散模型是基于訓練樣本聯(lián)合訓練得到的,在聯(lián)合訓練過程中對分類器的參數(shù)進行更新,對待訓練的類別感知編碼器的參數(shù)進行更新,凍結預訓練的穩(wěn)定擴散模型的其他參數(shù),所述訓練樣本為攜帶全局類別標簽的樣本低分辨率遙感影像圖像;所述聯(lián)合訓練過程包括以下步驟:通過變分自編碼器將樣本低分辨率遙感影像圖像編碼為樣本潛在向量,在t步之內,通過穩(wěn)定擴散模型的擴散過程將噪聲逐步引入樣本潛在向量,以生成樣本噪聲潛在向量,穩(wěn)定擴散模型整合以下參數(shù)預測添加的噪聲:樣本低分辨率遙感圖像、樣本噪聲潛在向量、樣本內容描述信息和樣本紋理描述信息,基于穩(wěn)定擴散模型得到的預測噪聲與擴散過程中引入的實際噪聲之間的差異最小化對所述類別感知編碼器的參數(shù)進行更新,損失函數(shù)表示如下: ;其中,,表示穩(wěn)定擴散模型的預測噪聲,表示待訓練的類別感知編碼器,表示參數(shù)凍結的預訓練的文本編碼器,cls表示樣本內容描述信息和樣本紋理描述信息;c表示描述編碼信息,由所述低分辨率遙感影像的內容描述信息和紋理描述信息的文本特征拼接得到;基于帶全局類別標簽的樣本低分辨率遙感影像圖像對待訓練的分類器進行訓練,損失函數(shù)表示如下: ;其中,其中N為樣本低分辨率遙感影像圖像的數(shù)量,M為全局類別數(shù)量,yic表示第i個樣本低分辨率遙感影像圖像的真實標簽,pic表示待訓練的分類器第i個樣本屬于第c個類別的預測概率;所述分類器和所述穩(wěn)定擴散模型聯(lián)合訓練的損失函數(shù)表示如下: ;其中,L表示總損失,LD表示擴散損失,LC表示分類損失,λ表示平衡系數(shù)。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯(lián)系本專利的申請人或專利權人北京大學,其通訊地址為:100871 北京市海淀區(qū)頤和園路5號;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發(fā)布本報告當日的職業(yè)理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據(jù)或者憑證。