買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜大連大學申請的專利一種多場景特征聯(lián)合學習的多模態(tài)圖像融合方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN117011208B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-13發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202310991670.3，技術(shù)領(lǐng)域涉及：G06T5/50；該發(fā)明授權(quán)一種多場景特征聯(lián)合學習的多模態(tài)圖像融合方法是由周士華;雷佳;李嘉偉設(shè)計研發(fā)完成，并于2023-08-08向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種多場景特征聯(lián)合學習的多模態(tài)圖像融合方法在說明書摘要公布了：本發(fā)明公開了一種多場景特征聯(lián)合學習的多模態(tài)圖像融合方法，包括：構(gòu)建跨模態(tài)的知識強化網(wǎng)絡、基于頻譜注意力和空間注意力的優(yōu)化網(wǎng)絡、邊緣引導學習網(wǎng)絡、多模態(tài)圖像融合模型：其將單模任務和多模任務徹底分離，提出一種多場景特征聯(lián)合學習結(jié)構(gòu)來統(tǒng)一紅外和可見光圖像融合以及醫(yī)學圖像融合任務；為了瓦解不同模態(tài)之間的融合壁壘，將融合過程分解為三個任務，并應用多任務學習策略來指導模型更準確地學習不同的特征表示；其中跨模態(tài)的知識強化網(wǎng)絡，增強了特征之間的交流，從而實現(xiàn)了有效特征聚合。此外，空域?譜域優(yōu)化網(wǎng)絡和邊緣引導學習網(wǎng)絡，使多模態(tài)圖像融合模型能夠同時保持源圖像的前景目標和背景細節(jié)。

本發(fā)明授權(quán)一種多場景特征聯(lián)合學習的多模態(tài)圖像融合方法在權(quán)利要求書中公布了：1.一種多場景特征聯(lián)合學習的多模態(tài)圖像融合方法，其特征在于，包括：構(gòu)建跨模態(tài)的知識強化網(wǎng)絡，用于增強多模態(tài)圖像一致性特征和差異性特征；構(gòu)建基于頻譜注意力和空間注意力的優(yōu)化網(wǎng)絡，用于加強融合結(jié)果中的重要上下文信息；構(gòu)建邊緣引導學習網(wǎng)絡，用于從源圖像中學習輪廓信息；通過所述跨模態(tài)的知識強化網(wǎng)絡、基于頻譜注意力和空間注意力的優(yōu)化網(wǎng)絡和邊緣引導學習網(wǎng)絡得到多模態(tài)圖像融合模型： s.t.uΨ＝Ψx,y；ωΨ,uΦ＝Φx；ωΦ,uγ＝γy；ωγ其中，Lf是結(jié)構(gòu)相似性損失，F(xiàn)是具有可學習參數(shù)ωf的圖像重建網(wǎng)絡；λ是權(quán)衡參數(shù)；x,y是不同模態(tài)的輸入圖像；uΨ,uΦ,uγ代表三個網(wǎng)絡輸出結(jié)果；模型T由三個網(wǎng)絡組成，即跨模態(tài)的知識強化網(wǎng)絡Ψ、基于頻譜注意力和空間注意力的優(yōu)化網(wǎng)絡γ、邊緣引導學習網(wǎng)絡Φ；Lt是一個合成損失函數(shù)，包括LΨ、Lγ和LΦ；ωt是關(guān)于模型T的可訓練參數(shù)；所述跨模態(tài)的知識強化網(wǎng)絡構(gòu)建了一種多路徑校正策略來加強源圖像之間的特征關(guān)系，具體地：和是相同維度的初始特征映射，它們通過元素相乘生成中間特征映射故將FM定義為:為了保持特征的一致性，利用中間特征映射FM來增強和中的相關(guān)信息，該流程的定義如下： 其中，Conv3為卷積操作，其激活函數(shù)為PReLU；Fa實現(xiàn)了全局特征關(guān)系中的信息聚合；對于特征的差異性，引入特征映射的減法運算來獲取和的聯(lián)合差分特征Fs： 最后，F(xiàn)a和Fs相加，統(tǒng)一了跨模信息的一致性和差異性：uΨ＝Conv3Fa+Fs所述優(yōu)化網(wǎng)絡包括頻譜注意力優(yōu)化子網(wǎng)絡和空間注意力優(yōu)化子網(wǎng)絡，具體為： 其中，ωγ是網(wǎng)絡γ的可訓練參數(shù)；y表示輸入圖像，其中包含紅外圖像、CT圖像、PET圖像和SPECT圖像；進入優(yōu)化網(wǎng)絡后，首先利用卷積塊處理源圖像，得到子網(wǎng)絡的輸入特征隨后，從頻譜和空間角度精校特征Fo；所述邊緣引導學習網(wǎng)絡中，圖像執(zhí)行3×3卷積、1×1卷積修改通道尺寸獲得特征并使用BatchNorm層和RELU激活函數(shù)來加速收斂；然后采用兩種方式處理特征Fd；第一種方式，首先使用步長為2的卷積層來降低空間維度，其卷積核大小為7×7；緊接著使用一個包含了三個3×3卷積層和兩個RELU激活函數(shù)的卷積組獲得特征Fu；然后通過上采樣運算恢復空間分辨率；對于第二種方式，特征Fd通過1×1卷積層來獲得特征Fg；最后，通過加法運算將兩個途徑的值組合在一起；流程定義如下：Fu＝UpsConvgMPConvsFdFg＝Conv1FguΦ＝SigmoidConv1Fg+Fu。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人大連大學，其通訊地址為：116622 遼寧省大連市經(jīng)濟技術(shù)開發(fā)區(qū)學府大街10號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。