恭喜電子科技大學袁曉軍獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜電子科技大學申請的專利一種MIMO信道下空中計算聯邦學習的梯度上傳方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN116192209B 。
龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202310195126.8,技術領域涉及:H04B7/0413;該發明授權一種MIMO信道下空中計算聯邦學習的梯度上傳方法是由袁曉軍;鐘晨曦設計研發完成,并于2023-03-03向國家知識產權局提交的專利申請。
本一種MIMO信道下空中計算聯邦學習的梯度上傳方法在說明書摘要公布了:本發明基于MIMO技術提出一種空中計算聯邦學習OA?FL系統的上行通信設計方案。該方案包括一種新穎的稀疏編碼多路復用SCoM,Sparse?CodedMultiplexing方案。該方案集成了稀疏壓縮編碼和MIMO多路復用技術,旨在解決的空中計算聯邦學習通信開銷較大的問題和學習性能損失問題。
本發明授權一種MIMO信道下空中計算聯邦學習的梯度上傳方法在權利要求書中公布了:1.一種MIMO信道下空中計算聯邦學習的梯度上傳方法,其特征在于,包括以下步驟:S1、定義聯邦學習FL系統由1個中心參數服務器PS和M個邊緣設備組成,全局損失函數定義為: 式中,為整個系統內數據集的樣本數目,Qm為設備m本地數據集的樣本數目,為網絡模型參數,D為模型參數總數,Fm·為設備m的本地損失函數: 式中,fθ;ξm,n為關于樣本ξm,n的逐點損失函數,設定FL任務訓練的最大通信輪次為T;S2、令PS生成壓縮矩陣和翻轉向量下發至所有的邊緣設備,其中,C表示壓縮后的梯度長度,壓縮矩陣L=SΞ,其中為選擇矩陣,通過隨機選取D2×D2維單位矩陣的C行并重排列得到;為離散傅里葉變換矩陣,其第d,d′個元素表示為為虛數單位,翻轉向量s的每個元素由{-1,1}的二元分布中均勻采樣得到;L和s用于計算發送的梯度;S3、服務器與設備進行信道信息的估計,假設在每一通信輪次中梯度上傳時信道保持不變,并且服務器擁有全局的信道信息矩陣其中t是指通信輪次t;S4、服務器通過交替優化方法設計發端預編碼矩陣和收端后處理矩陣具體來說,服務器通過求解以下優化問題,得到最優的 其中,m和m′分別指設備m和設備m′,qm′=Qm′Q為歸一化的數據集大小,σnoise為信道中高斯白噪聲的方差,為設備m′的梯度矩陣Gm′與設備m的梯度矩陣Gm之間的相關系數,P0為發端功率限制,[M]={m|1≤m≤M},tr·為矩陣求跡操作,||·||F為求矩陣Frobenius范數操作;S5、收端后處理矩陣Ft的最優值由如下公式給出: 其中,I為單位陣;S6、每個發端預編碼矩陣由以下更新公式給出Pm←Bm+γI-1Cm+γZm+Vm; Vm←Vm+Zm-Pm.其中,為中間變量矩陣,γ為懲罰因子,Zm為交替方向乘子法ADMM算法引入的輔助變量,ζm、Vm為對偶變量;S7、通過迭代S5和S6,直至S4中優化問題的目標函數值收斂,此時得到最優的服務器將預編碼矩陣和全局模型θt下發至各個邊緣設備;S8、各個設備在本地進行梯度下降,計算局部梯度S9、設備使用優化后的預編碼矩陣將本地梯度上傳,輪次t內,邊緣設備將局部梯度映射為復數: 式中,為取實部操作,為取復數操作,基于設備根據如下公式計算累計梯度: 式中,表示在設備m在第t輪的稀疏誤差累計向量,基于累計梯度設備計算稀疏梯度如下公式所示: 其中,λ∈[0,1]表示稀疏度,sp·保留累計梯度中絕對值最大的λD2個梯度元素,基于設備根據如下公式更新稀疏誤差累計向量: 隨后設備基于稀疏梯度計算歸一化梯度 其中,⊙為逐元素乘積,為稀疏梯度的方差,為的第d個元素,設備基于歸一化梯度使用S2中提到的矩陣L對壓縮: 其中,C為壓縮后梯度的長度,為壓縮率;S10、為傳輸多流數據,設備將壓縮梯度拆分為多流,構成如下矩陣 其中,Ns為數據流數,為矩陣的第n行,為矩陣的列數,最后,設備基于優化后的發端預編碼矩陣和梯度矩陣計算傳輸信號矩陣 設備將發送至MIMO信道中;S11、在PS端,采用后處理矩陣Ft得到處理后的信號如下 PS對處理后的矩陣進行向量化,得到如下的壓縮感知問題: 其中,vec·為向量化操作,為處理后的矩陣與無差錯聚合矩陣的誤差矩陣,和wt=vecWtT;S12、服務器采用TurboCS算法求解S11中壓縮感知問題,TurboCS算法迭代求解聚合后的梯度首先,模塊A給出線性最小均方誤差LMMSE估計器的估計結果 其中,為模塊A的先驗均值,為模塊A的先驗方差,為噪聲向量wt的方差,為模塊A的后驗均值,為模塊A的后驗方差;根據LMMSE輸出結果,計算模塊A給出的外信息: 其中,為模塊A的外信息均值,為模塊A的外信息方差,二者被作為模塊B的先驗信息,即然后,在模塊B,根據先驗信息最小均方誤差MMSE估計器給出后驗估計 其中,計算條件方差,為模塊B的后驗均值,為模塊B的后驗方差;模塊B輸出的外信息為 其中,為模塊B的外信息均值,為模塊B的外信息方差,二者被作為模塊A的先驗信息,即模塊AB相互迭代直至收斂,此時估計的梯度為S13、PS依照如下公式得到估計的聚合梯度: 其中,PS依照如下公式進行全局模型θt更新: 式中,η為學習率;S14、服務器將更新后的全局模型通過無差錯廣播信道回傳給每個設備;S15、若達到通信輪次t>T則結束,否則轉S3。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人電子科技大學,其通訊地址為:611731 四川省成都市高新西區西源大道2006號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。