買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中山大學申請的專利基于深度強化學習的多終端網關資源調度方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115175196B 。

龍圖騰網通過國家知識產權局官網在2025-03-21發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210651835.8，技術領域涉及：H04W16/10；該發明授權基于深度強化學習的多終端網關資源調度方法及系統是由陳翔;陳子賢;王璽鈞;邱繼云設計研發完成，并于2022-06-09向國家知識產權局提交的專利申請。

本基于深度強化學習的多終端網關資源調度方法及系統在說明書摘要公布了：本發明公開了基于深度強化學習的多終端網關資源調度方法及系統，該方法包括：初始化終端網關并獲取當前時間的環境狀態；基于策略執行網絡和策略評價網絡對當前時間的環境狀態進行提取和評價處理，得到推薦擴頻碼方案；根據推薦擴頻碼方案進行終端網關的資源調度，得到調度結果；根據調度結果對策略執行網絡和策略評價網絡進行更新，并基于更新后的策略執行網絡進行終端網關的資源調度。通過使用本發明，能夠使終端網關高效共享有限擴頻通信資源的同時降低了多終端網關系統的復雜度。本發明作為基于深度強化學習的多終端網關資源調度方法及系統，可廣泛應用于同步衛星物聯網擴頻通信技術領域。

本發明授權基于深度強化學習的多終端網關資源調度方法及系統在權利要求書中公布了：1.基于深度強化學習的多終端網關資源調度方法，其特征在于，包括以下步驟：初始化終端網關并獲取當前時間的環境狀態；通過策略執行網絡對當前時間的環境狀態進行提取處理并結合策略評價網絡對策略執行網絡的提取結果進行評價處理，得到推薦擴頻碼方案；根據推薦擴頻碼方案進行終端網關的資源調度訓練，得到調度結果；根據調度結果對策略執行網絡和策略評價網絡進行更新，并基于更新后的策略執行網絡進行終端網關的資源調度；所述通過策略執行網絡對當前時間的環境狀態進行提取處理并結合策略評價網絡對策略執行網絡的提取結果進行評價處理，得到推薦擴頻碼方案這一步驟，其具體包括：通過策略執行網絡對當前時間的環境狀態進行提取處理，得到初步的推薦擴頻碼方案；通過策略評價網絡和當前時間的環境狀態對初步的推薦擴頻碼方案進行評價處理，得到推薦擴頻碼方案；所述通過策略執行網絡對當前時間的環境狀態進行提取處理，得到初步的推薦擴頻碼方案這一步驟，其具體包括：基于策略執行網絡輸入層對當前時間的環境狀態進行特征提取處理，得到第一特征信息；基于策略執行網絡匯聚層對當前時間的環境狀態進行數據維度提取處理，得到第一高維度信息；基于策略執行網絡輸出層，結合第一特征信息和第一高維度信息，輸出當前時間的環境狀態對應的價值并進行取最大值操作，得到初步的推薦擴頻碼方案；所述通過策略評價網絡和當前時間的環境狀態對初步的推薦擴頻碼方案進行評價處理，得到推薦擴頻碼方案這一步驟，其具體包括：基于策略評價網絡輸入層對當前時間的環境狀態和初步的推薦決策方案進行特征提取處理，得到第二特征信息；基于策略評價網絡匯聚層對當前時間的環境狀態和初步的推薦決策方案進行數據維度提取處理，得到第二高維度信息；基于策略執行網絡輸出層，結合第二特征信息和第二高維度信息，輸出推薦擴頻碼方案；所述根據調度結果對策略執行網絡和策略評價網絡進行更新，并基于更新后的策略執行網絡進行終端網關的資源調度這一步驟，其具體包括：隨機選取調度結果并通過多智能體深度強化算法對策略執行網絡和策略評價網絡進行更新訓練，得到訓練差值；根據訓練差值進行判斷，判斷到滿足截止訓練條件，輸出更新后的策略執行網絡和更新后的策略評價網絡；基于更新后的策略執行網絡進行終端網關的資源調度；所述策略評價網絡的更新公式如下所示： 上式中，Lnω表示計算的誤差函數，α表示學習率，ω表示策略評價網絡的參數，B表示每次計算的批大小，S表示當前環境，πS表示當前決策動作，S,A,R,S'表示該次訓練抽取的調度經驗，R表示執行動作后環境反饋的及時獎勵，S'表示執行動作后的環境狀態，γ表示衰減率，Qt、Q均表示策略評價網絡，πt、π均表示策略執行網絡；所述策略執行網絡的更新公式如下所示： 上式中，Jnθ表示計算的誤差函數，α表示學習率，θ表示策略執行網絡的參數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中山大學，其通訊地址為：510275 廣東省廣州市海珠區新港西路135號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。