買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜南京航空航天大學(xué);江蘇省未來網(wǎng)絡(luò)創(chuàng)新研究院申請(qǐng)的專利一種基于強(qiáng)化學(xué)習(xí)的5G星地鏈路多波束動(dòng)態(tài)功率分配方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114599099B 。

龍圖騰網(wǎng)通過國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-03-21發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210221080.8，技術(shù)領(lǐng)域涉及：H04W72/50；該發(fā)明授權(quán)一種基于強(qiáng)化學(xué)習(xí)的5G星地鏈路多波束動(dòng)態(tài)功率分配方法是由宋曉勤;程夢(mèng)倩;陳權(quán);柴新越;徐雷;繆娟娟設(shè)計(jì)研發(fā)完成，并于2022-03-08向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于強(qiáng)化學(xué)習(xí)的5G星地鏈路多波束動(dòng)態(tài)功率分配方法在說明書摘要公布了：本發(fā)明公開一種基于強(qiáng)化學(xué)習(xí)的5G星地鏈路多波束動(dòng)態(tài)功率分配方法，該方法搭建了多波束衛(wèi)星通信系統(tǒng)模型，根據(jù)通信過程中上行鏈路與下行鏈路的信道狀態(tài)不同得出了衛(wèi)星的星上資源緩存信息，以最大化用戶傳輸速率為優(yōu)化目標(biāo)，同時(shí)考慮功率、緩存、速率等多個(gè)約束條件給出了衛(wèi)星系統(tǒng)資源分配問題的目標(biāo)函數(shù)，基于Q學(xué)習(xí)方法，將多波束衛(wèi)星設(shè)計(jì)為智能體Agent，動(dòng)作為功率選擇，環(huán)境為信道狀態(tài)，在智能體與信道環(huán)境的交互過程中，不斷更新Q值積累學(xué)習(xí)經(jīng)驗(yàn)，逐步找到所提優(yōu)化問題的最優(yōu)解。本方法具有良好的收斂性和系統(tǒng)性能，是一種高效可靠的動(dòng)態(tài)資源分配方法，能夠適應(yīng)復(fù)雜多變的通信環(huán)境，特別適合應(yīng)用于資源受限的多波束衛(wèi)星通信系統(tǒng)中。

本發(fā)明授權(quán)一種基于強(qiáng)化學(xué)習(xí)的5G星地鏈路多波束動(dòng)態(tài)功率分配方法在權(quán)利要求書中公布了：1.一種基于強(qiáng)化學(xué)習(xí)的5G星地鏈路多波束動(dòng)態(tài)功率分配方法，具體包括以下步驟：步驟1：建立多波束衛(wèi)星通信系統(tǒng)模型，并給出上行信道鏈路模型和下行信道鏈路模型，得到上行信道鏈路的傳輸速率為其中ws是星地鏈路中上行鏈路的鏈路帶寬，hs是星地鏈路中上行鏈路的信道系數(shù)，N為星地鏈路中的噪聲功率，pu表示地面用戶的發(fā)射功率，同理可得下行信道鏈路的傳輸速度為其中wu是星地鏈路中下行鏈路的鏈路帶寬，hu是星地鏈路中下行鏈路的信道系數(shù)，N為星地鏈路中的噪聲功率，ps表示通信衛(wèi)星節(jié)點(diǎn)的發(fā)射功率；步驟2：確定在滿足多波束衛(wèi)星通信系統(tǒng)的星上緩存約束的條件下最大化用戶的傳輸速率的衛(wèi)星通信系統(tǒng)資源分配的目標(biāo)函數(shù)，在t時(shí)刻，將衛(wèi)星通信系統(tǒng)的資源優(yōu)化問題建模為： 其中，Ntotal表示衛(wèi)星系統(tǒng)的總波束數(shù)量，Ncarrier表示每波束中的總載波數(shù)量，表示在t時(shí)刻衛(wèi)星通信系統(tǒng)中第m個(gè)波束上第k個(gè)載波上地面用戶u的傳輸速率，表示t時(shí)刻地面用戶u的傳輸速率，Rth表示地面用戶傳輸速率的最低門限閾值，表示t時(shí)刻地面用戶u在第m個(gè)波束上的第k個(gè)載波的分配情況，若地面用戶u被分配到第m個(gè)波束上的第k個(gè)載波上，則有反之則為0，Φt表示在t時(shí)刻衛(wèi)星上的資源緩存量，Φth表示多波束衛(wèi)星通信系統(tǒng)中的星上資源緩存量的門限閾值，Pth表示衛(wèi)星通信系統(tǒng)總功率的門限閾值，表示單一波束功率的門限閾值；步驟3：多波束衛(wèi)星智能體不斷觀測(cè)通信環(huán)境，得到載波和用戶的分配狀況以及衛(wèi)星的星上資源緩存狀態(tài)，載波分配矩陣表示為wn表示第n個(gè)波束的載波分配狀況，將在t時(shí)刻已分配的載波矩陣W、已被服務(wù)的用戶集U以及衛(wèi)星資源緩存Φ定義為狀態(tài)空間，表示為之后根據(jù)此時(shí)的Q表完成功率分配動(dòng)作的選擇；步驟4：通信環(huán)境根據(jù)動(dòng)作的執(zhí)行結(jié)果更新載波分配、已服務(wù)用戶以及星上緩存資源的狀態(tài)，并評(píng)估此次功率分配動(dòng)作執(zhí)行結(jié)果的獎(jiǎng)勵(lì)收益，將其反饋給多波束衛(wèi)星智能體，具體包括以下步驟：步驟4-1：定義多波束衛(wèi)星Agent執(zhí)行相應(yīng)的動(dòng)作并作用于通信環(huán)境之后，得到的來自環(huán)境反饋的獎(jiǎng)勵(lì)收益為r，獎(jiǎng)勵(lì)收益反饋的結(jié)果包括正反饋收益與負(fù)反饋收益，是一種當(dāng)前狀態(tài)的環(huán)境對(duì)智能體所執(zhí)行動(dòng)作結(jié)果評(píng)價(jià)的體現(xiàn)，在本資源分配方法中，將多波束衛(wèi)星系統(tǒng)傳輸速率的增量Δδ設(shè)計(jì)為智能體的獎(jiǎng)勵(lì)收益，表示為：Δδ＝δt+1-δt其中，表示t在時(shí)刻多波束衛(wèi)星系統(tǒng)的總傳輸速率；步驟4-2：則獎(jiǎng)勵(lì)收益為： 其中，rg＞rd，并且rg、rd的取值范圍是0～1的閉區(qū)間，當(dāng)傳輸速率增量大于0時(shí)智能體得到的獎(jiǎng)勵(lì)反饋會(huì)更大，即rt＝rg，反之，智能體得到的收益將降低；步驟5：多波束衛(wèi)星智能體根據(jù)通信環(huán)境反饋的獎(jiǎng)勵(lì)收益、更新過后的環(huán)境狀態(tài)以及Q學(xué)習(xí)算法中值函數(shù)的更新規(guī)則，來對(duì)Q表中對(duì)應(yīng)的Q值進(jìn)行更新，實(shí)現(xiàn)智能體動(dòng)作選擇策略的不斷更新優(yōu)化，最終實(shí)現(xiàn)最大化智能體的獎(jiǎng)勵(lì)收益，找到優(yōu)化問題的最優(yōu)解。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人南京航空航天大學(xué);江蘇省未來網(wǎng)絡(luò)創(chuàng)新研究院，其通訊地址為：210016 江蘇省南京市御道街29號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。