買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜昆明理工大學申請的專利一種基于強化學習的四足機器人虛擬模型控制器的參數控制方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114995479B 。

龍圖騰網通過國家知識產權局官網在2025-04-01發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210673604.7，技術領域涉及：G05D1/49；該發明授權一種基于強化學習的四足機器人虛擬模型控制器的參數控制方法是由張云偉;龔澤武設計研發完成，并于2022-06-13向國家知識產權局提交的專利申請。

本一種基于強化學習的四足機器人虛擬模型控制器的參數控制方法在說明書摘要公布了：本發明公開了一種基于強化學習的四足機器人虛擬模型控制器的參數控制方法，具體控制方法如下：步驟1：建立四足機器人數學模型：計算四足機器人的正運動學模型；步驟2：步態生成：在擺線軌跡進行優化，得到約束優化后的擺線軌跡；步驟3：虛擬模型控制器的設計：建立四足機器人的虛擬模型控制；步驟4：深度強化學習算法的結合：選擇和設計狀態空間、動作空間與獎勵函數；步驟5：虛擬樣機模型的訓練仿真；本發明利用深度強化學習強大的探索能力，找到最佳的控制器參數，降低了控制器參數的設置難度；本發明提高了傳統虛擬模型控制器的控制精度，并且具備一定的抗干擾性能，控制器依然可以精確控制四足機器人的運動。

本發明授權一種基于強化學習的四足機器人虛擬模型控制器的參數控制方法在權利要求書中公布了：1.一種基于強化學習的四足機器人虛擬模型控制器的參數控制方法，其特征在于,具體控制方法如下：步驟1：建立四足機器人數學模型：計算四足機器人的正運動學模型，四足機器人共12個關節，每條腿部由上中下三個腿足部件構成，上關節長L1米，中關節與下關節分別長L2、L3米，得到機器人腿部關節旋轉角度與腿足末端的位置關系映射；步驟2：步態生成：在擺線軌跡進行優化，得到約束優化后的擺線軌跡；步驟3：虛擬模型控制器的設計：通過步驟1得到的數學模型，建立四足機器人的虛擬模型控制，并對虛擬模型控制器的參數進行初始化操作；步驟4：深度強化學習算法的結合：選擇和設計狀態空間、動作空間與獎勵函數、并結合步驟3設計的虛擬模型控制器進行強化學習智能體的設計與算法選擇；步驟5：虛擬樣機模型的訓練仿真：對搭建好的虛擬模型進行訓練，得到最優的控制策略；所述步驟3中，運動特征參數提取的具體步驟如下，虛擬模型控制器作為基礎控制器①雅可比矩陣的計算：虛擬模型控制器需要被控對象的雅可比矩陣，可通過機器人腿部的坐位置x,y,z相對與關節變量分別求導，關節變量記為q1、q2、q3，其物理意義為髖關節、肩關節、膝關節電機的旋轉角度；根據得到的機器人腿部正運動學方程6，可得其雅可比矩陣為： ②虛擬力的計算：虛擬模型控制假想存在一種彈簧阻尼部件，輸入控制對象的當前位置x，y，z與速度并且需要輸入期望參考軌跡xbd，ybd，zbd，擺動相虛擬力f擺計算式為： 式中：kx，ky，kz為虛擬力的彈性系數，bx，by，bz為虛擬力的阻尼系數；支撐相控制和擺動相虛擬力計算方法有所不同，擺動相時虛擬力施加在腿足末端，在支撐相時腿足末端相對于地面的位置變化不大，機身相對于地面接觸點運動，施加虛擬力在髖關節位置上，相當于在腿足末端施加-f支，需要注意的是在機器人勻速前向運動的過程中只有前向速度和機體離地高度需要有值，其余一律設置為0；因此可得支撐相的控制法則： ③關節力矩的計算在得到施加在被控對象上的虛擬力后，再根據計算出的雅可比矩陣，可得腿部關節電機擺動相與支撐相的力矩為： 步驟4具體的步驟如下，①狀態空間的設計：強化學習基于馬爾可夫決策過程，智能體與環境交互過程中獲取一系列的狀態向量{s1，s2，...sn}，選取的狀態為四條腿足末端相對于髖關節的位置坐標，機器人機身的翻轉角度分別為側翻、俯仰以及橫轉，腿足末端位置與參考期望軌跡的誤差和，上一個動作輸出向量k共計48個狀態：②動作空間的設計：動作空間設計輸出為設計的虛擬模型控制器的彈簧阻尼系數k和b，每條腿共3個自由度，每條腿共需6個動作輸入，共計需24個動作輸出；并且為了減少強化學習智能體的學習難度，需要預先試探參數的大致范圍，為方便起見可將每條腿部的彈性阻尼系數設置為一致的，在此基礎上限制強化學習智能體的動作空間輸出范圍，避免強化學習智能體尋優空間過大，算法無法收斂；③獎勵函數的設計：四足機器人的主要目的是盡可能平穩的向正前方運動，并且維持一定的機體高度，以及在受到外力的干擾下能主動恢復到預先設定的軌跡上，vx為機器人的前向速度，y為機器人側方向的位移，u為機器人動作的輸出，θi為機器人機體在3個維度的翻轉角度，Tf為仿真訓練過程的最大時長，Ts為仿真過程中的最小步長單位，TsTf為了使得機器人訓練過程中能盡可能多的運行更多的步數得到更多的獎勵，獎勵函數設置如下： ④終止函數的設置強化學習智能體在每一個訓練回合時，設置一個終止函數當機器人機身偏離一定的閾值時及時終止訓練進行下一個回合的訓練，可以降低訓練的時間，閾值分別設置為足端軌跡誤差總和Esum,機器人機身翻轉角度α、β、γ，機器人的側向偏移y以及機身離地高度z；終止函數設置如下：SisD＝Esum≥0.57|α、β、γ≥0.36||y|≥0.4|z≤0.2015滿足式19中任意一條件則回合終止；⑤強化學習算法設計多足機器人的狀態空間與動作空間均是多維連續空間向量，本發明選擇深度確定性策略梯度DDPG方法優化四足機器人虛擬模型控制器參數，該方法包含兩個神經網絡，分別為演員網絡與評論家網絡，演員網絡actor輸入當前環境的狀態s，輸出智能體動作a，評論家網絡critor根據actor網絡的動作與當前環境的反應對actor網絡的輸出做出評價，相應的actor網絡根據critor網絡的評價改進策略輸出，隨著回合次數的增多，actor網絡的輸出越來越符合環境現狀，critor網絡對actor網絡的評價水平越來越精確，最終達到最優策略。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人昆明理工大學，其通訊地址為：650093 云南省昆明市五華區學府路253號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。