恭喜福州大學牛玉貞獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜福州大學申請的專利一種基于遞歸交互式注意力的低照度圖像增強方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116309182B 。
龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310356275.8,技術領域涉及:G06T5/90;該發明授權一種基于遞歸交互式注意力的低照度圖像增強方法是由牛玉貞;許瑞;李悅洲;林曉鋒設計研發完成,并于2023-04-06向國家知識產權局提交的專利申請。
本一種基于遞歸交互式注意力的低照度圖像增強方法在說明書摘要公布了:本發明涉及一種基于遞歸交互式注意力的低照度圖像增強方法。包括:對輸入圖像進行預處理,包括圖像配對、裁剪、數據增強處理,得到訓練數據集;設計遞歸交互式注意力增強網絡,該網絡由輸入映射模塊、遞歸交互式注意力增強網絡和輸出映射模塊組成;設計用于訓練步驟B所設計網絡的損失函數;使用步驟A得到的訓練數據集訓練遞歸交互式注意力增強網絡;將待測圖像輸入到該網絡中,使用訓練好的網絡生成正常照度圖像。本發明利用遞歸交互式注意力機制,能夠在局部和全局范圍內對圖像進行注意力調整和增強,從而提高了圖像的質量和清晰度,有效解決了低照度圖像亮度不均衡、細節丟失、顏色失真等問題。
本發明授權一種基于遞歸交互式注意力的低照度圖像增強方法在權利要求書中公布了:1.一種基于遞歸交互式注意力的低照度圖像增強方法,其特征在于,包括如下步驟:步驟A、對輸入圖像進行預處理,包括圖像配對、裁剪、數據增強處理,得到訓練數據集;步驟B、設計遞歸交互式注意力增強網絡,該遞歸交互式注意力增強網絡由輸入映射模塊、遞歸交互式注意力增強網絡和輸出映射模塊組成;步驟C、設計用于訓練步驟B所設計網絡的損失函數;步驟D、使用訓練數據集訓練遞歸交互式注意力增強網絡;步驟E、將待測圖像輸入到該網絡中,使用訓練好的網絡生成正常照度圖像;所述步驟B具體實現步驟如下:步驟B1、設計輸入映射模塊,包括一個卷積層、激活函數和塊編碼層,用于對輸入的低照度圖像進行特征提取,將其分塊并轉換成序列級別的特征;步驟B2、設計遞歸交互式注意力增強網絡,由L個參數不共享的遞歸交互塊組成,實現對特征的深層次增強;步驟B3、設計輸出映射模塊,包括塊解碼層和一個卷積層,將遞歸交互式注意力增強網絡的輸出特征重新組織成完整的圖像特征,并將該特征投影至通道為3的圖像空間;所述步驟B1具體實現步驟如下:步驟B11、由一個大小為3×3的卷積核構成卷積層,采用LeakyReLU作為激活函數,對輸入圖像進行特征提取,其中H和W分別為低照度圖像的高和寬;步驟B12、由一個卷積核大小為D×D、步長為D的卷積層構成塊編碼層的核心操作,該操作將步驟B11中得到的特征按照D×D大小劃分為N個塊,即每個塊的通道維度為C;接著將這些塊的特征展平,由此得到的序列級別的特征作為第一個遞歸交互塊的輸入;具體公式表示如下:X0=PatchEmbedLeakyReLUConv3Iin其中,Conv3表示3×3卷積層,LeakyReLU·表示激活函數,PatchEmbed·表示塊編碼層操作;所述步驟B2具體實現步驟如下:步驟B21、設計遞歸交互塊,每個遞歸交互塊包含T個參數共享的遞歸交互單元;步驟B22、將步驟B12得到的特征X0作為第一個遞歸交互塊的輸入,經過l個遞歸交互塊、T′次遞歸后,得到輸出特征其中l∈{1,2,...,L};那么,最后一個遞歸交互塊經過T′次遞歸的輸出則表示為具體公式表示如下: 其中,RIBl表示第l個遞歸交互塊,表示網絡的堆疊處理;所述步驟B21具體實現步驟如下:步驟B211、設計遞歸交互單元,由局部塊感知的雙重注意力模塊、全局上下文感知的可偏移注意力模塊、兩個模塊之間的交互操作,以及序列級別的特征重塑和塊級別的特征重塑兩種操作組成;步驟B212、將作為第l個遞歸交互塊的輸入特征,經過t個參數共享的遞歸交互單元后得到當前遞歸交互塊的輸出特征具體公式表示如下: 其中,RIUt表示第t個遞歸交互單元,t∈{1,2,...,T},表示網絡的重復處理,即參數復用;所述步驟B211具體實現步驟如下:步驟B2111、設計局部塊感知的雙重注意力模塊,核心包括一個卷積單元、一個通道注意力單元和一個空間注意力單元;對于輸入的特征先將其重塑為塊級別的特征再經過一個卷積單元進行特征嵌入,該卷積單元依次由一個3×3卷積層、ReLu激活函數和一個3×3卷積層堆疊而成,映射得到的特征表示為具體公式表示如下: 其中,Reshape1·為重塑操作,將N×C的序列級別特征轉換成的塊級別特征,ConvUnit·表示卷積單元;步驟B2112、將步驟B2211的特征送入通道注意力單元和空間注意力單元,分別得到通道注意力和空間注意力加權的特征,再將這兩個特征進行拼接,用一個大小為1×1的卷積核構成的卷積層將特征映射到低維空間,最后再和作殘差連接操作,得到局部塊感知的雙重注意力模塊的輸出特征具體公式表示如下: 其中,CA表示通道注意力單元,SA表示空間注意力單元,[·;·]表示特征拼接操作,Conv1表示1×1卷積層;步驟B2113、設計局部塊感知的雙重注意力模塊至全局上下文感知的可偏移注意力模塊的交互操作,對于局部塊感知的雙重注意力模塊輸出的特征將其重塑回序列級別特征,然后與特征融合作為全局上下文感知的可偏移注意力模塊的輸入具體公式表示為: 其中,Reshape1·為重塑操作,將的轉換成塊級別特征N×C的序列級別特征;步驟B2114、設計全局上下文感知的可偏移注意力模塊,核心包括層歸一化操作、可偏移多頭自注意力和多層感知機;對于輸入的特征依次送入歸一化層和可偏移多頭自注意力,得到的特征再與殘差連接,輸出中間特征然后,將依次送入歸一化層和多頭感知機,得到的特征再與殘差連接,輸出全局上下文感知的可偏移注意力模塊的最終特征具體公式表示如下: 其中,LN·表示層歸一化操作,MHSA表示可偏移多頭自注意力,MLP表示多頭感知機;步驟B2115、設計全局上下文感知的可偏移注意力模塊至局部塊感知的雙重注意力模塊的交互操作,對于全局上下文感知的可偏移注意力模塊輸出的特征將其重塑回塊級別特征,然后與特征融合以更新局部塊感知的雙重注意力模塊的輸出具體公式表示為: 其中,Reshape1·表示將序列級別的特征重塑為塊級別的特征;所述步驟B2112具體實現方式為:步驟B21121:設計通道注意力單元,首先將輸入特征送入一個全局平均池化層對特征進行壓縮,得到通道描述符;接著,采用兩個1×1卷積層,中間是一個ReLu激活函數,分別進行降維和升維;最后,通過Sigmoid激活函數將通道權重限制在0和1之間,得到通道注意力權最終,通過乘法操作將與通道權重αc相乘,得到通道注意力加權的特征具體公式表示為: 其中,Avgpool·表示全局平均池化操作,Conv1表示1×1卷積層,ReLu·為激活函數,σ·為Sigmoid函數,表示逐元素乘法;步驟B21122:設計空間注意力單元,首先將輸入特征沿著通道維度進行全局最大池化和全局平均池化操作,得到最大池化特征圖和平均池化特征圖,然后將它們沿著通道維度進行拼接;接著,使用一個3×3卷積層將特征圖映射回通道為1維的特征,再通過Sigmoid激活函數將權重限制在0和1之間,得到空間注意力權重最終,通過乘法操作將與空間注意力權重αs相乘,得到空間注意力加權的特征具體公式表示為: 其中,AvgPool·表示全局平均池化操作,MaxPool·表示全局最大池化操作,[·;·]表示拼接操作,Conv3表示3×3卷積層,σ·為Sigmoid函數,表示逐元素乘法;所述步驟B3具體實現步驟如下:步驟B31、由雙線性上采樣層、1個3×3卷積層構成塊解碼層的核心操作,該操作將步驟B22得到的最后一個遞歸交互塊輸出的N×C大小的特征重塑至大小的塊級別特征,再由雙線性上采樣層上采樣至H×W×C的特征,最后再由1個3×3卷積層映射,得到降低維度后的特征;步驟B32、對于步驟B31輸出的特征,再由一個3×3卷積層映射回圖像空間,再與輸入特征Iin殘差連接得到增強后的圖像Ien;具體公式表示如下: 其中,PatchUnEmbed·為塊解碼操作,Conv3表示3×3卷積層;所述步驟C具體實現方式為:步驟C、設計損失函數,由SmoothL1損失和VGG感知損失lperceptual組成,網絡的總目標損失函數ltotal表示如下: lperceptual=||VGG3,8,15Ien-VGG3,8,15Igt||2其中,λ是一個平衡參數,E=Ien-Igt,Igt為正常照度的圖像;||·||2表示計算均方誤差,VGG3,8,15·表示使用在ImageNet數據集上預訓練的VGG-16分類模型提取第3層、第8層和第15層的特征。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人福州大學,其通訊地址為:350108 福建省福州市閩侯縣福州大學城烏龍江北大道2號福州大學;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。