買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜西北工業大學申請的專利基于無模型增量式強化學習的帶臂無人機懸停穩定控制方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119045317B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411519231.3，技術領域涉及：G05B11/42；該發明授權基于無模型增量式強化學習的帶臂無人機懸停穩定控制方法是由馬先龍;呼衛軍;王瑞昌;全家樂;于巽飛;李海閏設計研發完成，并于2024-10-29向國家知識產權局提交的專利申請。

本基于無模型增量式強化學習的帶臂無人機懸停穩定控制方法在說明書摘要公布了：本發明提供了基于無模型增量式強化學習的帶臂無人機懸停穩定控制方法，包括：建立無人機和帶載機械臂模型，建立深度強化學習算法框架，初始化神經網絡策略，設計分層獎勵函數，采集無人機和帶載機械臂狀態信息，策略神經網絡根據采集的狀態信息輸出增穩控制指令，與PID控制器輸出的控制指令進行帶參數的權值疊加，得到融合控制律，再將融合控制律輸入無人機和帶載機械臂模型，解算下一狀態信息，利用下一狀態信息計算該狀態的獎勵值，并結合相應動作反饋給深度強化學習算法框架，運行分布式近端優化策略輸出策略梯度，計算策略的梯度下降，利用梯度下降更新神經網絡，完成策略的更新。本發明能夠實時給予指導信息，提升訓練效率。

本發明授權基于無模型增量式強化學習的帶臂無人機懸停穩定控制方法在權利要求書中公布了：1.基于無模型增量式強化學習的帶臂無人機懸停穩定控制方法，其特征在于：包括以下步驟：S1、建立無人機和帶載機械臂動力學模型，定義無人機和帶載機械臂初始狀態作為當前狀態；S2、建立深度強化學習算法框架，初始化神經網絡策略，設計帶臂無人機穩定懸停對應的分層獎勵函數，并開始訓練；S3、采集無人機和帶載機械臂狀態信息，策略神經網絡根據采集的狀態信息輸出增穩控制指令，與PID控制器輸出的控制指令進行帶參數的權值疊加，得到融合控制律，再將所述融合控制律輸入無人機和帶載機械臂動力學模型，解算下一狀態信息，利用下一狀態信息計算該狀態的獎勵值，并結合相應動作反饋給深度強化學習算法框架，運行分布式近端優化策略輸出策略梯度，計算策略的梯度下降，利用梯度下降更新神經網絡，完成策略的更新；得到融合控制律的過程具體為：所述帶臂無人機與環境進行交互，采樣并收集訓練狀態量樣本，輸入到策略神經網絡并計算控制策略的增穩控制指令，與PID控制器輸出的控制指令進行帶參數的權值疊加，交叉融合得到的多個指令中選擇最高概率加權控制指令作為抑制電磁干擾的最終指令；具體的融合控制律如下：引入偏差權值參數，在控制指令融合過程中，遵循以下變權值過程，其中為期望位置，為實際位置： ；最終控制律表示為： ；其中，為神經網絡策略輸出的動作集，為人工設計的PID控制器輸出的控制律集合，為融合控制律集合，為時刻融合控制律集合中選擇的概率最大的控制律；S4、若獎勵值大于設置的獎勵閾值，訓練完成，保存策略網絡參數；若不滿足，則繼續采集狀態信息、策略信息、獎勵信息存入經驗池，重復步驟S3，直到獎勵函數達標且模型穩定，訓練完成。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人西北工業大學，其通訊地址為：710072 陜西省西安市友誼西路127號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。