買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜南京航空航天大學;江蘇省未來網絡創新研究院申請的專利一種基于強化學習的5G星地鏈路多波束動態功率分配方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114599099B 。

龍圖騰網通過國家知識產權局官網在2025-03-21發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210221080.8，技術領域涉及：H04W72/50；該發明授權一種基于強化學習的5G星地鏈路多波束動態功率分配方法是由宋曉勤;程夢倩;陳權;柴新越;徐雷;繆娟娟設計研發完成，并于2022-03-08向國家知識產權局提交的專利申請。

本一種基于強化學習的5G星地鏈路多波束動態功率分配方法在說明書摘要公布了：本發明公開一種基于強化學習的5G星地鏈路多波束動態功率分配方法，該方法搭建了多波束衛星通信系統模型，根據通信過程中上行鏈路與下行鏈路的信道狀態不同得出了衛星的星上資源緩存信息，以最大化用戶傳輸速率為優化目標，同時考慮功率、緩存、速率等多個約束條件給出了衛星系統資源分配問題的目標函數，基于Q學習方法，將多波束衛星設計為智能體Agent，動作為功率選擇，環境為信道狀態，在智能體與信道環境的交互過程中，不斷更新Q值積累學習經驗，逐步找到所提優化問題的最優解。本方法具有良好的收斂性和系統性能，是一種高效可靠的動態資源分配方法，能夠適應復雜多變的通信環境，特別適合應用于資源受限的多波束衛星通信系統中。

本發明授權一種基于強化學習的5G星地鏈路多波束動態功率分配方法在權利要求書中公布了：1.一種基于強化學習的5G星地鏈路多波束動態功率分配方法，具體包括以下步驟：步驟1：建立多波束衛星通信系統模型，并給出上行信道鏈路模型和下行信道鏈路模型，得到上行信道鏈路的傳輸速率為其中ws是星地鏈路中上行鏈路的鏈路帶寬，hs是星地鏈路中上行鏈路的信道系數，N為星地鏈路中的噪聲功率，pu表示地面用戶的發射功率，同理可得下行信道鏈路的傳輸速度為其中wu是星地鏈路中下行鏈路的鏈路帶寬，hu是星地鏈路中下行鏈路的信道系數，N為星地鏈路中的噪聲功率，ps表示通信衛星節點的發射功率；步驟2：確定在滿足多波束衛星通信系統的星上緩存約束的條件下最大化用戶的傳輸速率的衛星通信系統資源分配的目標函數，在t時刻，將衛星通信系統的資源優化問題建模為： 其中，Ntotal表示衛星系統的總波束數量，Ncarrier表示每波束中的總載波數量，表示在t時刻衛星通信系統中第m個波束上第k個載波上地面用戶u的傳輸速率，表示t時刻地面用戶u的傳輸速率，Rth表示地面用戶傳輸速率的最低門限閾值，表示t時刻地面用戶u在第m個波束上的第k個載波的分配情況，若地面用戶u被分配到第m個波束上的第k個載波上，則有反之則為0，Φt表示在t時刻衛星上的資源緩存量，Φth表示多波束衛星通信系統中的星上資源緩存量的門限閾值，Pth表示衛星通信系統總功率的門限閾值，表示單一波束功率的門限閾值；步驟3：多波束衛星智能體不斷觀測通信環境，得到載波和用戶的分配狀況以及衛星的星上資源緩存狀態，載波分配矩陣表示為wn表示第n個波束的載波分配狀況，將在t時刻已分配的載波矩陣W、已被服務的用戶集U以及衛星資源緩存Φ定義為狀態空間，表示為之后根據此時的Q表完成功率分配動作的選擇；步驟4：通信環境根據動作的執行結果更新載波分配、已服務用戶以及星上緩存資源的狀態，并評估此次功率分配動作執行結果的獎勵收益，將其反饋給多波束衛星智能體，具體包括以下步驟：步驟4-1：定義多波束衛星Agent執行相應的動作并作用于通信環境之后，得到的來自環境反饋的獎勵收益為r，獎勵收益反饋的結果包括正反饋收益與負反饋收益，是一種當前狀態的環境對智能體所執行動作結果評價的體現，在本資源分配方法中，將多波束衛星系統傳輸速率的增量Δδ設計為智能體的獎勵收益，表示為：Δδ＝δt+1-δt其中，表示t在時刻多波束衛星系統的總傳輸速率；步驟4-2：則獎勵收益為： 其中，rg＞rd，并且rg、rd的取值范圍是0～1的閉區間，當傳輸速率增量大于0時智能體得到的獎勵反饋會更大，即rt＝rg，反之，智能體得到的收益將降低；步驟5：多波束衛星智能體根據通信環境反饋的獎勵收益、更新過后的環境狀態以及Q學習算法中值函數的更新規則，來對Q表中對應的Q值進行更新，實現智能體動作選擇策略的不斷更新優化，最終實現最大化智能體的獎勵收益，找到優化問題的最優解。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南京航空航天大學;江蘇省未來網絡創新研究院，其通訊地址為：210016 江蘇省南京市御道街29號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。