買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜杭州電子科技大學申請的專利一種基于深度確定性策略的跳頻智能抗干擾決策方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN116073856B 。

龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211512206.3，技術領域涉及：H04B1/715；該發明授權一種基于深度確定性策略的跳頻智能抗干擾決策方法是由張煜培;趙知勁設計研發完成，并于2022-11-29向國家知識產權局提交的專利申請。

本一種基于深度確定性策略的跳頻智能抗干擾決策方法在說明書摘要公布了：本發明公開了一種基于深度確定性策略的跳頻智能抗干擾決策方法。本發明包括：步驟1、建立雙變跳頻通信系統模型；步驟2、建立雙變跳頻通信系統抗干擾決策模型；步驟3、基于強化學習的優化問題轉換；步驟4、基于HDP?DDPG的雙變跳頻通信系統抗干擾決策；步驟5、訓練HDP?DDPG網絡，輸出抗干擾決策模型。本發明一方面通過回放更多立即回報高和時間差分誤差大的經驗來訓練模型，使模型預測更精準；另一方面通過周期性衰減學習率使得網絡參數的更新速度呈周期性變化，探索速度豐富多樣，易于跳出局部最優。從而有效提高了經驗樣本的利用效率,避免了陷入局部最優,加快了網絡的收斂速度。

本發明授權一種基于深度確定性策略的跳頻智能抗干擾決策方法在權利要求書中公布了：1.一種基于深度確定性策略的跳頻智能抗干擾決策方法，其特征在于包括以下步驟：步驟1、建立雙變跳頻通信系統模型；步驟2、建立雙變跳頻通信系統抗干擾決策模型；步驟3、基于強化學習的優化問題轉換；步驟4、基于HDP-DDPG的雙變跳頻通信系統抗干擾決策；步驟5、訓練HDP-DDPG網絡，輸出抗干擾決策模型；步驟1所述的建立雙變跳頻通信系統模型，具體如下：跳頻信號的數學模型表示為： 其中，fc為最小跳頻頻率，ρl為根據偽隨機序列產生的頻率控制字，用來控制跳頻頻率的變化，fl為最小跳頻頻率間隔，gt為長度Tc的脈沖函數，Tc為每一跳的駐留時間，Tc時間內，跳頻頻率根據ρl的值來確定；最小跳頻頻率間隔fl用一個時變量fcρl來代替，其中ρl是偽隨機序列產生的頻率控制字；跳頻速率v不再是固定不變，而是在多個跳速等級上偽隨機非線性變化；相應地，每一跳的駐留時間Tc在偽隨機非線性變化，即用Tcρl來替換Tc；因此雙變跳頻信號能夠表示為: 設雙變跳頻系統的跳速v∈[Vl,Vu]，頻率間隔d∈[Dl,Du]，則在第k跳中用戶采用跳速vk對應的駐留時間Tc,k和跳頻頻率fc,k分別如式3和式4所示； fc,k＝fc,k-1±dk,dk∈[Dl,Du]4步驟2所述的建立雙變跳頻通信系統抗干擾決策模型，具體如下：考慮一對收發用戶利用雙變跳頻系統在一個擁有J個干擾機的無線電環境中進行通信的場景；在第k跳干擾機j隨意選擇一個頻帶進行干擾，其功率譜密度記為通信用戶在智能體的指導下，選擇一個頻率fc,k∈[Fl,Fu]，并發送一個給定功率為的信號進行通信；其中Uf和BW分別代表基帶信號的功率譜密度和帶寬；通信用戶的跳頻速率v∈[Vl,Vu]，頻率間隔d∈[Dl,Du]，信源速率為btr；當感知到干擾后，發信方通過改變跳頻速率和頻率間隔的跳頻參數避開干擾，保證通信質量；在Δ時間內，通信過程中誤碼率由式5表示； 其中，BERk表示第k跳的誤碼率；由于在每個時刻誤碼率與信干噪比成反比，最小化誤碼率等價于最大化信干噪比SINR；因此，優化問題表述為： 其中，約束條件a給出了第k跳中信干噪比計算方式，hk為第k跳的平均信道增益，ptr為發射功率，Jk為第k跳的干擾總功率，nk為第k跳的噪聲總功率；約束條件b給出了干擾總功率的計算方法；約束條件c給出了噪聲總功率的計算方法，nf為高斯白噪聲噪聲功率譜密度；約束條件d表示第k跳的頻率可由k-1跳的頻率以及頻率間隔決定；約束條件e表示第k跳的駐留時間可由跳速確定；將強化學習應用到抗干擾決策上，在復雜未知的干擾環境中利用其持續交互試錯的學習結果自主學習最優的抗干擾策略；最終將學習到一個從狀態sk到動作ak的最優映射策略ak＝μ*sk,使得決策智能體在未來連續的一段時間內，根據該策略進行連續參數決策，可得到最大的信干噪比；步驟3所述的基于強化學習的優化問題轉換，具體如下：為了獲得最優的抗干擾策略μ*，將通信參數決策空間定義為連續空間，并利用DDPG深度強化學習算法進行求解；首先將該問題轉化為馬爾科夫決策過程；在馬爾科夫決策過程中，智能體會感知當前的系統狀態，按策略實施動作，從而改變環境的狀態并得到獎勵；下面將結合具體系統模型，對馬爾科夫決策過程中的參數進行設計；1動作及狀態空間：定義用戶當前所在跳數以及通信頻率為狀態的參量，狀態表示為二維連續變量sk＝[k,fc,k]，定義動作為二維連續變量ak＝[vk,dk]；k跳時，用戶位于狀態sk＝[k,fc,k]，采取動作ak＝[vk,dk]后進入下一狀態sk+1＝[k+1,fc,k+1]；2獎勵：在智能體的引導下每執行一步，用戶都將獲得執行所選動作后的即時獎勵；優化目標是獲得最大化系統的信干噪比，而強化學習算法的目標是最大化長期累積回報期望EGk，定義長期累積回報其中γ是折扣因子，rk是k跳的即時獎勵，定義即時獎勵如下：rk＝SINRk7步驟4所述的基于HDP-DDPG的雙變跳頻通信系統抗干擾決策，具體如下：其中HDP-DDPG的網絡模型包含4個神經網絡，分別是：兩個結構相同但參數不同的actor網絡，分別為onlineactor網絡μ和targetactor網絡μ′；其中onlineactor網絡μ的網絡參數為θμ，targetactor網絡μ′的網絡參數為θμ′；兩個結構相同但參數不同的critic網絡，分別為onlinecritic網絡Q和targetcritic網絡Q'，其中onlinecritic網絡Q的網絡參數為θQ，targetcritic網絡Q′的網絡參數為θQ′；4-1：雙經驗回放；對于經驗樣本i，首先定義基于立即回報機制的優先級rpi和基于TD-error機制的優先級δpi：rpi＝ri+ε8δpi＝|δi|+ε9其中，ri是第i個經驗樣本的立即回報；ε是一個正常數，用來確保每條經驗都有非零優先級；δi是真實值函數Qsi，ai|θQ和估計值yi的差值，稱為TD-error，被定義為：δi＝ri+γQ'si+1，μ′si+1|θμ′|θQ′-Qsi，ai|θQ10其中yi＝ri+γQ′si+1，μ′si+1|θμ′|θQ′，把樣本池中的樣本分別按照優先級rpi和δpi從大到小排列并且得到rank1和rank2，對經驗進行復合排序且得到： 其中復合的優先級為： 其中，參數η表示算法使用優先級的程度，取值范圍為[0，1]；當η＝0時表示均勻采樣；定義采樣經驗的概率為： 4-2：周期更新的學習率；將訓練總回合數M以m為周期進行劃分，并在第episode個回合時按照式14-15所示的衰減規律進行更新：k′＝modm,episode14αepisode＝τk′α015βepisode＝τk′β016式中，τ為衰減因子，α0和β0分別為α和β的初始值；mod·為取模運算；步驟5所述的訓練HDP-DDPG網絡，輸出抗干擾決策模型，具體如下：5-1：隨機初始化HDP-DDPG的actor網絡的權重和critic網絡的權重5-2：利用θμ′←θμ，θQ′←θQ更新targetactor網絡和targetcritic網絡的權重；5-3：令得到獎勵rk并進入下一狀態sk+1；5-4：存儲經驗sk，ak，rk，sk+1到容量池中；5-5：以pk為概率從容量池中抽取N組經驗sn，an，rn，sn+1，其中pk由式8-13計算；5-6：計算最小化損失L，其中yn＝rn+γQ′sn+1，μ′si+1|θμ′|θQ′；5-7：令k′＝modm,episode，αepisode＝τk′α0，βepisode＝τk′β0；5-8：更新θQ：5-9：更新θμ：其中5-10：更新θμ′和θQ′：θμ′＝λθμ′+1-λθμ′和θQ′＝λθQ′+1-λθQ′；5-11：最終得到最優抗干擾策略

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州電子科技大學，其通訊地址為：310018 浙江省杭州市下沙高教園區2號大街；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。