買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜南通先進通信技術研究院有限公司;南通大學申請的專利基于強化學習的海域安全通信無人機軌跡實時規劃方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115407794B 。

龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211024919.5，技術領域涉及：G05D1/46；該發明授權基于強化學習的海域安全通信無人機軌跡實時規劃方法是由王偉;楊永杰;陳俊杰;曹張華;孫強;劉錦濤;吳磊設計研發完成，并于2022-08-25向國家知識產權局提交的專利申請。

本基于強化學習的海域安全通信無人機軌跡實時規劃方法在說明書摘要公布了：本發明提供了基于強化學習的海域安全通信無人機軌跡實時規劃方法，屬于通信技術領域。解決了傳統優化方法無法實時處理海洋動態場景的問題。其技術方案為：步驟一、建立聯合大尺度衰落和小尺度衰落的UAV?船舶信道模型；步驟二、得到移動船舶、竊聽節點接收的信干燥比和速率；步驟三、通過求解系統最大平均保密速率來獲得無人機的最優軌跡；步驟四、使用Q?learning和DDPG算法來進行軌跡優化；步驟五、設置相關仿真參數；步驟六、展示不同起飛位置下兩種算法的UAV軌跡實時規劃結果。本發明的有益效果為：本發明針對不同船舶的通信需求實時的規劃出UAV飛行軌跡，有效保障海洋通信的實時性。

本發明授權基于強化學習的海域安全通信無人機軌跡實時規劃方法在權利要求書中公布了：1.基于強化學習的海域安全通信無人機軌跡實時規劃方法，其特征在于，包括以下步驟：步驟一、建立聯合大尺度衰落和小尺度衰落的UAV-船舶信道模型；步驟二、通過船載AIS獲得船舶的航道信息，并分別得到移動船舶、竊聽節點接收的信干燥比和速率；步驟三、通過求解系統最大平均保密速率來獲得無人機的最優軌跡；步驟四、基于離散空間的無人機運動模型和基于連續空間的無人機運動模型，分別使用Q-learning和DDPG算法來進行軌跡優化；步驟五、設置相關仿真參數；步驟六、展示不同起飛位置下兩種算法的UAV軌跡實時規劃結果、不同船舶航跡下兩種算法的UAV軌跡實時規劃結果、兩種算法每次迭代得到的平均獎勵和不同飛行時間下不同算法得到的平均保密速率；所述步驟四中，基于Q-learning的海域無人機軌跡優化：首先，提出了一個解決離散軌跡優化問題的Q-learning框架，將Q-learning算法視為一個馬爾可夫決策過程，它表示為一個集合S，A，R，P，γ；S＝{s1,s2,....}表示每個時隙UAV出現的位置或狀態集合；其中，第n個時隙的狀態可表示為：Sn＝{xsn,ysn,H}，xsn,ysn表示UAV的水平坐標，H表示UAV的垂直坐標；A表示UAV可用的動作集，在Q-learning框架下的離散空間內有9個可用動作{上，下，左，右，左上，右上，左下，右下，懸停}；R是UAV的獎勵函數，表示為rn×rs+rb+rf；其中rs表示保密速率獎勵，rb表示UAV飛出邊界的懲罰，rf表示飛行時間懲罰；P表示狀態轉移概率，Ps′|s，a表示UAV在當前狀態s采取動作a后移動到下一個狀態s′的概率分布；γ表示折扣因子，決定著UAV重視未來獎勵還是當前獎勵；在每一次迭代開始時，隨機選擇岸上的一個UAV起飛點進行訓練，且由于移動船舶按照固定航道航行，航道信息通過船載AIS歷史信息得到；首先UAV會在第n個時隙根據探索率ε選擇一個動作an，當該動作導致UAV飛出邊界或無法按時返航時，UAV將受到rb和rf的懲罰，其中：rb和rf為負常數；否則UAV將根據an移動到下一個狀態s′并且獲得獎勵rn；然后根據更新公式：Qπsn，an←Qπsn，an+αrn+γmaxQπsn+1，an+1-Qπsn，an來更新Q表；其中，Qπs，a＝ERn|sn＝s，an＝a，表示當UAV遵循策略πa|s在狀態s采取動作a后得到的未來獎勵期望； 表示在第n個時隙UAV總的折扣獎勵，表示學習率。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南通先進通信技術研究院有限公司;南通大學，其通訊地址為：226019 江蘇省南通市崇川區崇川路58號4號樓11層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。