恭喜浙江工商大學;浙大城市學院韓嵩獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜浙江工商大學;浙大城市學院申請的專利一種基于雙重動態稀疏訓練的物聯網聯邦學習方法和系統獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119180352B 。
龍圖騰網通過國家知識產權局官網在2025-04-04發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202411689935.5,技術領域涉及:G06N20/00;該發明授權一種基于雙重動態稀疏訓練的物聯網聯邦學習方法和系統是由韓嵩;韓躍宇;任思琪;王碩蘋;趙帥;李賢君;暢龍濤;趙金宇;王夢果設計研發完成,并于2024-11-25向國家知識產權局提交的專利申請。
本一種基于雙重動態稀疏訓練的物聯網聯邦學習方法和系統在說明書摘要公布了:本發明公開了一種基于雙重動態稀疏訓練的物聯網聯邦學習方法和系統。本發明面向物聯網場景,采用動態稀疏訓練,且僅使用本地數據對模型進行訓練,可以達到低通信開銷和個性化。然后只將模型參數傳輸到服務器上進行聚合,并提出了一種個性化聚合方法,來保證模型在上傳參數之后能保留模型的個性化不丟失。通過傳輸輕量稀疏模型,有效解決物聯網場景下設備資源不均,通信開銷過大等問題,并且提出個性化聚合,對不同設備上的稀疏模型進行聚合,提高性能。
本發明授權一種基于雙重動態稀疏訓練的物聯網聯邦學習方法和系統在權利要求書中公布了:1.一種基于雙重動態稀疏訓練的物聯網聯邦學習方法,其特征在于該方法包括以下步驟:S1、系統參數初始化:服務器隨機初始化全局模型,并將全局模型發送給各物聯網設備,即客戶端;S2、客戶端剪枝:客戶端收到全局模型后,根據自己的計算資源預算對全局模型進行一次性剪枝,得到適合本地設備計算資源的稀疏模型;S3、客戶端本地訓練及上傳:客戶端根據本地數據進行本地稀疏模型訓練及動態稀疏訓練,之后將本地稀疏模型參數上傳到服務器上進行聚合;S4、服務器聚合:服務器在接收到客戶端的本地稀疏模型參數后,根據客戶端的本地稀疏模型參數進行個性化加權聚合算法更新;S5、服務器動態稀疏訓練:服務器在聚合得到全局模型之后,如果是全局調整輪次,則對全局模型進行全局的動態稀疏訓練;再將得到的全局稀疏模型下發給各個客戶端;S6、重復進行步驟S1~S5,直到達到預定的通信輪次;在步驟S2中,客戶端在收到全局模型后,根據本地的數據分布對所述全局模型進行剪枝,使全局模型架構與本地的數據分布吻合,剪枝的具體過程為:將一個批次的數據送入全局模型進行計算,得到每個全局模型參數對應的梯度;計算每個全局模型參數的剪枝分數,保留剪枝分數最高的若干個參數組成的稀疏模型;在步驟S3中,客戶端根據本地數據進行動態稀疏訓練,之后將本地稀疏模型參數上傳到服務器,具體包括:S31、客戶端在本地訓練結束后,根據稀疏模型的稀疏度目標對本地模型進行剪枝,移除若干個參數直到達到稀疏度目標;S32、客戶端根據瞬時梯度重要性分數對本地稀疏模型進行增長參數,選擇若干個參數進行更新;在步驟S4中,所述個性化加權聚合算法更新具體為:服務器在接收到每個客戶端的本地稀疏模型及對應掩碼后,根據掩碼判斷上傳的所有客戶端本地稀疏模型中的參數是不是唯一重疊的;如果是唯一重疊的,則會對其進行加權聚合更新;如果不是唯一重疊的,便將其舍棄,不進行更新;服務器在聚合完畢后獲得一個僅包含公共部分參數的全局模型;在步驟S5中,服務器對全局模型進行動態稀疏訓練具體包括:S51、服務器根據全局模型上每一層的參數大小進行剪枝,選取部分參數丟棄;S52、在接收到客戶端傳來的梯度更新后,服務器對其進行聚合得到梯度總度量,根據梯度總度量對全局稀疏模型進行重增長,選取部分梯度進行更新。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人浙江工商大學;浙大城市學院,其通訊地址為:310018 浙江省杭州市下沙高教園區學正街18號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。