買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜福建師范大學(xué);中國熱帶農(nóng)業(yè)科學(xué)院熱帶生物技術(shù)研究所申請(qǐng)的專利基于注意力引導(dǎo)特征蒸餾和原型對(duì)比對(duì)齊的聯(lián)邦學(xué)習(xí)方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119416915B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-16發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202510004062.8，技術(shù)領(lǐng)域涉及：G06N20/00；該發(fā)明授權(quán)基于注意力引導(dǎo)特征蒸餾和原型對(duì)比對(duì)齊的聯(lián)邦學(xué)習(xí)方法是由汪曉丁;闕友雄;許力;吳期濱;熊金波;林麗美;黃艷澤;金凱立設(shè)計(jì)研發(fā)完成，并于2025-01-02向國家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于注意力引導(dǎo)特征蒸餾和原型對(duì)比對(duì)齊的聯(lián)邦學(xué)習(xí)方法在說明書摘要公布了：本發(fā)明公開了基于注意力引導(dǎo)特征蒸餾和原型對(duì)比對(duì)齊的聯(lián)邦學(xué)習(xí)方法，通過結(jié)合注意力引導(dǎo)的特征蒸餾和原型對(duì)比對(duì)齊機(jī)制實(shí)現(xiàn)了在保護(hù)客戶端隱私的同時(shí)提升聯(lián)邦學(xué)習(xí)模型的個(gè)性化和泛化性能的功能。注意力引導(dǎo)的特征蒸餾技術(shù)用于解決歷史信息遺忘問題，通過利用前一輪的本地特征提取器作為教師模型，并結(jié)合注意力機(jī)制指導(dǎo)新學(xué)生模型的學(xué)習(xí)，有效保留和傳承客戶端的個(gè)性化歷史知識(shí)。原型對(duì)比對(duì)齊技術(shù)解決個(gè)性化與泛化之間的沖突問題，通過調(diào)整全局原型和本地原型之間的關(guān)系，并采用原型對(duì)比學(xué)習(xí)損失和原型對(duì)齊損失，增強(qiáng)模型在不同客戶端數(shù)據(jù)上的區(qū)分能力，從而在保持個(gè)性化準(zhǔn)確度的同時(shí)提高模型的泛化性能。

本發(fā)明授權(quán)基于注意力引導(dǎo)特征蒸餾和原型對(duì)比對(duì)齊的聯(lián)邦學(xué)習(xí)方法在權(quán)利要求書中公布了：1.基于注意力引導(dǎo)特征蒸餾和原型對(duì)比對(duì)齊的聯(lián)邦學(xué)習(xí)方法，其特征在于：其包括步驟：S1、初始化全局特征提取器：服務(wù)器首先初始化一個(gè)全局特征提取器，全局特征提取器用來接收來自各個(gè)客戶端的本地模型更新，進(jìn)行模型聚合；S2、客戶端本地訓(xùn)練：在每個(gè)通信輪次中服務(wù)器將全局特征提取器發(fā)送給選定的客戶端，每個(gè)客戶端使用服務(wù)器發(fā)送的全局特征提取器初始化本地特征提取器，并使用本地私有數(shù)據(jù)進(jìn)行訓(xùn)練；S3、在本地模型訓(xùn)練的過程中，每個(gè)客戶端采用注意力引導(dǎo)的特征蒸餾方法來保留和利用歷史本地知識(shí)；步驟S3具體包括以下步驟：S3-1、使用前一輪的局部模型作為教師模型，當(dāng)前輪次的全局模型作為學(xué)生模型；S3-2、利用卷積塊注意力模塊生成通道和空間注意力圖；通道和空間注意力圖表示為： 其中，表示在塊中提取的特征圖，表示層，是經(jīng)過通道注意力調(diào)制后的特征圖，和分別表示全局平均池化和全局最大池化，和分別表示沿通道方向的全局平均池化和最大池化，表示多層感知器，表示激活函數(shù)，表示卷積層，表示通道拼接，和分別代表通道注意力圖和空間注意力圖；S3-3、將通道和空間注意力應(yīng)用于原始輸入特征圖F得到最終的注意力圖，最終的注意力圖表示為： 其中，其中表示逐元素乘法，A是結(jié)合了通道和空間注意力的最終注意力圖；S3-4、在學(xué)生網(wǎng)絡(luò)之間建立跨層連接路徑，為每個(gè)輸入特征層創(chuàng)建了三種類型的卷積層、、，通過采用跨層特征融合策略得到最終的融合結(jié)果，以在不同層的學(xué)生特征之間實(shí)現(xiàn)了有效的集成；特征融合步驟表示為： 其中，表示使用雙線性插值進(jìn)行上采樣，表示第層的最終注意力圖，表示最終的融合結(jié)果；是橫向卷積，統(tǒng)一了不同尺度輸入特征圖的通道數(shù)到一個(gè)固定的輸出通道數(shù)；用于平滑特征融合后的結(jié)果，用于增強(qiáng)低層特征；S3-5、使用最低層的特征圖為第一橫向卷積從下至上進(jìn)行特征融合；結(jié)合上采樣的高層特征、橫向卷積特征和增強(qiáng)的低層特征，然后應(yīng)用進(jìn)行平滑得到最終的特征對(duì)齊，具體表達(dá)式為： 其中，表示學(xué)生，表示教師，使用均方誤差MSE損失進(jìn)行特征對(duì)齊；表示特征對(duì)齊損失，用于量化學(xué)生模型和教師模型在特征層上的差異，表示學(xué)生模型在第層最終的融合結(jié)果，表示教師模型在第層的注意力圖，表示學(xué)生模型在第層的特征圖，表示教師模型在第層的特征圖；S4、在特征蒸餾之后，客戶端進(jìn)行原型對(duì)比和對(duì)齊操作得到更新后的本地模型參數(shù)；即根據(jù)從服務(wù)器接收的全局原型來調(diào)整本地原型，并通過原型對(duì)比學(xué)習(xí)損失和原型對(duì)齊損失來優(yōu)化模型的泛化能力；S5、客戶端將更新后的本地模型參數(shù)和計(jì)算得到的本地原型上傳到服務(wù)器；服務(wù)器聚合所有客戶端上傳的模型參數(shù)和原型，以更新全局模型參數(shù)和全局原型，為下一輪聯(lián)邦學(xué)習(xí)過程做準(zhǔn)備；S6、服務(wù)器將更新后的全局模型參數(shù)和全局原型發(fā)送回客戶端，客戶端使用更新后的全局參數(shù)來初始化新一輪的本地模型訓(xùn)練；迭代進(jìn)行，直到模型性能達(dá)到滿意的水平或達(dá)到預(yù)定的通信輪次。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人福建師范大學(xué);中國熱帶農(nóng)業(yè)科學(xué)院熱帶生物技術(shù)研究所，其通訊地址為：350000 福建省福州市大學(xué)城科技路1號(hào)福建師范大學(xué)旗山校區(qū)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。