買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜清華大學申請的專利基于約束獎勵的深度強化學習四足機器人運動控制方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119512184B 。

龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510082218.4，技術領域涉及：G05D1/49；該發明授權基于約束獎勵的深度強化學習四足機器人運動控制方法及系統是由賈理淦;匡敏馳;周聯盟;張晨;何世玉;孔永昌設計研發完成，并于2025-01-20向國家知識產權局提交的專利申請。

本基于約束獎勵的深度強化學習四足機器人運動控制方法及系統在說明書摘要公布了：本發明公開了一種基于約束獎勵的深度強化學習四足機器人運動控制方法及系統，建立四足機器人深度強化學習的仿真訓練環境；確定仿真訓練環境的獎勵函數、域隨機化參數和成本約束函數；基于機器人信息和第一模擬環境信息，在仿真訓練環境中通過獎勵函數和成本約束函數對初始策略網絡模型進行訓練，得到訓練完成的策略網絡模型；建立推理測試環境，并將訓練完成的策略網絡模型部署至推理測試環境進行模型推理測試調優，得到目標策略網絡模型；將目標策略網絡模型部署至四足機器人中，以對四足機器人進行運動控制。本發明降低了仿真訓練環境與真實環境的差異，使得四足機器人在真實環境中被目標策略網絡模型穩定控制。

本發明授權基于約束獎勵的深度強化學習四足機器人運動控制方法及系統在權利要求書中公布了：1.一種基于約束獎勵的深度強化學習四足機器人運動控制方法，其特征在于，所述方法包括：建立四足機器人深度強化學習的仿真訓練環境，其中，所述仿真訓練環境包括所述四足機器人的機器人信息和第一模擬環境信息；確定所述仿真訓練環境的獎勵函數、域隨機化參數和成本約束函數；基于所述機器人信息和所述第一模擬環境信息，在所述仿真訓練環境中通過所述獎勵函數和所述成本約束函數對初始策略網絡模型進行訓練，得到訓練完成的策略網絡模型；建立推理測試環境，并將所述訓練完成的策略網絡模型部署至所述推理測試環境進行模型推理測試調優，得到目標策略網絡模型；將所述目標策略網絡模型部署至所述四足機器人中，以對所述四足機器人進行運動控制；其中，根據馬爾可夫決策過程設計所述仿真訓練環境的獎勵函數，所述獎勵函數，包括： =λw1rtlv+λw2rtav+λw3rfat+λw4rcc+λw5rbh+λw6rda+λw7rso其中，所述rtlv為計算前進速度跟蹤，所述rtav為計算角速度跟蹤，所述rfat為計算足端滯空時間，所述rcc為檢測是否發生碰撞，所述rbh為計算機身高度與目標高度的差值，所述rda為關節加速度懲罰，所述rso為計算關節位置與軟限制（softlimit）的差值，所述λwi為第i個獎勵函數值的放縮因子；其中，；；；；；；；為實際仿真中的速度，為目標速度；為仿真的角速度，減為目標角速度；為仿真的抬腿時間，為目標時間；rcc為否碰撞的判斷；為仿真中的高度，為目標高度；為12個關節的加速度；為當前位置與目標位置的差值，p為機器人信息中配置的限制值；所述成本約束函數，包括：C=cp+ct+cd其中，所述cp為計算關節位置與第一限制閾值的差值，所述ct為計算關節扭矩與第二限制閾值的差值，所述cd為計算關節速度與第三限制閾值的差值，、和為對應的比例系數。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人清華大學，其通訊地址為：100084 北京市海淀區清華園；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。