買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜昆明理工大學(xué)申請(qǐng)的專利一種基于強(qiáng)化學(xué)習(xí)的四足機(jī)器人虛擬模型控制器的參數(shù)控制方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114995479B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-01發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202210673604.7，技術(shù)領(lǐng)域涉及：G05D1/49；該發(fā)明授權(quán)一種基于強(qiáng)化學(xué)習(xí)的四足機(jī)器人虛擬模型控制器的參數(shù)控制方法是由張?jiān)苽?龔澤武設(shè)計(jì)研發(fā)完成，并于2022-06-13向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種基于強(qiáng)化學(xué)習(xí)的四足機(jī)器人虛擬模型控制器的參數(shù)控制方法在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種基于強(qiáng)化學(xué)習(xí)的四足機(jī)器人虛擬模型控制器的參數(shù)控制方法，具體控制方法如下：步驟1：建立四足機(jī)器人數(shù)學(xué)模型：計(jì)算四足機(jī)器人的正運(yùn)動(dòng)學(xué)模型；步驟2：步態(tài)生成：在擺線軌跡進(jìn)行優(yōu)化，得到約束優(yōu)化后的擺線軌跡；步驟3：虛擬模型控制器的設(shè)計(jì)：建立四足機(jī)器人的虛擬模型控制；步驟4：深度強(qiáng)化學(xué)習(xí)算法的結(jié)合：選擇和設(shè)計(jì)狀態(tài)空間、動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù)；步驟5：虛擬樣機(jī)模型的訓(xùn)練仿真；本發(fā)明利用深度強(qiáng)化學(xué)習(xí)強(qiáng)大的探索能力，找到最佳的控制器參數(shù)，降低了控制器參數(shù)的設(shè)置難度；本發(fā)明提高了傳統(tǒng)虛擬模型控制器的控制精度，并且具備一定的抗干擾性能，控制器依然可以精確控制四足機(jī)器人的運(yùn)動(dòng)。

本發(fā)明授權(quán)一種基于強(qiáng)化學(xué)習(xí)的四足機(jī)器人虛擬模型控制器的參數(shù)控制方法在權(quán)利要求書(shū)中公布了：1.一種基于強(qiáng)化學(xué)習(xí)的四足機(jī)器人虛擬模型控制器的參數(shù)控制方法，其特征在于,具體控制方法如下：步驟1：建立四足機(jī)器人數(shù)學(xué)模型：計(jì)算四足機(jī)器人的正運(yùn)動(dòng)學(xué)模型，四足機(jī)器人共12個(gè)關(guān)節(jié)，每條腿部由上中下三個(gè)腿足部件構(gòu)成，上關(guān)節(jié)長(zhǎng)L1米，中關(guān)節(jié)與下關(guān)節(jié)分別長(zhǎng)L2、L3米，得到機(jī)器人腿部關(guān)節(jié)旋轉(zhuǎn)角度與腿足末端的位置關(guān)系映射；步驟2：步態(tài)生成：在擺線軌跡進(jìn)行優(yōu)化，得到約束優(yōu)化后的擺線軌跡；步驟3：虛擬模型控制器的設(shè)計(jì)：通過(guò)步驟1得到的數(shù)學(xué)模型，建立四足機(jī)器人的虛擬模型控制，并對(duì)虛擬模型控制器的參數(shù)進(jìn)行初始化操作；步驟4：深度強(qiáng)化學(xué)習(xí)算法的結(jié)合：選擇和設(shè)計(jì)狀態(tài)空間、動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù)、并結(jié)合步驟3設(shè)計(jì)的虛擬模型控制器進(jìn)行強(qiáng)化學(xué)習(xí)智能體的設(shè)計(jì)與算法選擇；步驟5：虛擬樣機(jī)模型的訓(xùn)練仿真：對(duì)搭建好的虛擬模型進(jìn)行訓(xùn)練，得到最優(yōu)的控制策略；所述步驟3中，運(yùn)動(dòng)特征參數(shù)提取的具體步驟如下，虛擬模型控制器作為基礎(chǔ)控制器①雅可比矩陣的計(jì)算：虛擬模型控制器需要被控對(duì)象的雅可比矩陣，可通過(guò)機(jī)器人腿部的坐位置x,y,z相對(duì)與關(guān)節(jié)變量分別求導(dǎo)，關(guān)節(jié)變量記為q1、q2、q3，其物理意義為髖關(guān)節(jié)、肩關(guān)節(jié)、膝關(guān)節(jié)電機(jī)的旋轉(zhuǎn)角度；根據(jù)得到的機(jī)器人腿部正運(yùn)動(dòng)學(xué)方程6，可得其雅可比矩陣為： ②虛擬力的計(jì)算：虛擬模型控制假想存在一種彈簧阻尼部件，輸入控制對(duì)象的當(dāng)前位置x，y，z與速度并且需要輸入期望參考軌跡xbd，ybd，zbd，擺動(dòng)相虛擬力f擺計(jì)算式為： 式中：kx，ky，kz為虛擬力的彈性系數(shù)，bx，by，bz為虛擬力的阻尼系數(shù)；支撐相控制和擺動(dòng)相虛擬力計(jì)算方法有所不同，擺動(dòng)相時(shí)虛擬力施加在腿足末端，在支撐相時(shí)腿足末端相對(duì)于地面的位置變化不大，機(jī)身相對(duì)于地面接觸點(diǎn)運(yùn)動(dòng)，施加虛擬力在髖關(guān)節(jié)位置上，相當(dāng)于在腿足末端施加-f支，需要注意的是在機(jī)器人勻速前向運(yùn)動(dòng)的過(guò)程中只有前向速度和機(jī)體離地高度需要有值，其余一律設(shè)置為0；因此可得支撐相的控制法則： ③關(guān)節(jié)力矩的計(jì)算在得到施加在被控對(duì)象上的虛擬力后，再根據(jù)計(jì)算出的雅可比矩陣，可得腿部關(guān)節(jié)電機(jī)擺動(dòng)相與支撐相的力矩為： 步驟4具體的步驟如下，①狀態(tài)空間的設(shè)計(jì)：強(qiáng)化學(xué)習(xí)基于馬爾可夫決策過(guò)程，智能體與環(huán)境交互過(guò)程中獲取一系列的狀態(tài)向量{s1，s2，...sn}，選取的狀態(tài)為四條腿足末端相對(duì)于髖關(guān)節(jié)的位置坐標(biāo)，機(jī)器人機(jī)身的翻轉(zhuǎn)角度分別為側(cè)翻、俯仰以及橫轉(zhuǎn)，腿足末端位置與參考期望軌跡的誤差和，上一個(gè)動(dòng)作輸出向量k共計(jì)48個(gè)狀態(tài)：②動(dòng)作空間的設(shè)計(jì)：動(dòng)作空間設(shè)計(jì)輸出為設(shè)計(jì)的虛擬模型控制器的彈簧阻尼系數(shù)k和b，每條腿共3個(gè)自由度，每條腿共需6個(gè)動(dòng)作輸入，共計(jì)需24個(gè)動(dòng)作輸出；并且為了減少?gòu)?qiáng)化學(xué)習(xí)智能體的學(xué)習(xí)難度，需要預(yù)先試探參數(shù)的大致范圍，為方便起見(jiàn)可將每條腿部的彈性阻尼系數(shù)設(shè)置為一致的，在此基礎(chǔ)上限制強(qiáng)化學(xué)習(xí)智能體的動(dòng)作空間輸出范圍，避免強(qiáng)化學(xué)習(xí)智能體尋優(yōu)空間過(guò)大，算法無(wú)法收斂；③獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)：四足機(jī)器人的主要目的是盡可能平穩(wěn)的向正前方運(yùn)動(dòng)，并且維持一定的機(jī)體高度，以及在受到外力的干擾下能主動(dòng)恢復(fù)到預(yù)先設(shè)定的軌跡上，vx為機(jī)器人的前向速度，y為機(jī)器人側(cè)方向的位移，u為機(jī)器人動(dòng)作的輸出，θi為機(jī)器人機(jī)體在3個(gè)維度的翻轉(zhuǎn)角度，Tf為仿真訓(xùn)練過(guò)程的最大時(shí)長(zhǎng)，Ts為仿真過(guò)程中的最小步長(zhǎng)單位，TsTf為了使得機(jī)器人訓(xùn)練過(guò)程中能盡可能多的運(yùn)行更多的步數(shù)得到更多的獎(jiǎng)勵(lì)，獎(jiǎng)勵(lì)函數(shù)設(shè)置如下： ④終止函數(shù)的設(shè)置強(qiáng)化學(xué)習(xí)智能體在每一個(gè)訓(xùn)練回合時(shí)，設(shè)置一個(gè)終止函數(shù)當(dāng)機(jī)器人機(jī)身偏離一定的閾值時(shí)及時(shí)終止訓(xùn)練進(jìn)行下一個(gè)回合的訓(xùn)練，可以降低訓(xùn)練的時(shí)間，閾值分別設(shè)置為足端軌跡誤差總和Esum,機(jī)器人機(jī)身翻轉(zhuǎn)角度α、β、γ，機(jī)器人的側(cè)向偏移y以及機(jī)身離地高度z；終止函數(shù)設(shè)置如下：SisD＝Esum≥0.57|α、β、γ≥0.36||y|≥0.4|z≤0.2015滿足式19中任意一條件則回合終止；⑤強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)多足機(jī)器人的狀態(tài)空間與動(dòng)作空間均是多維連續(xù)空間向量，本發(fā)明選擇深度確定性策略梯度DDPG方法優(yōu)化四足機(jī)器人虛擬模型控制器參數(shù)，該方法包含兩個(gè)神經(jīng)網(wǎng)絡(luò)，分別為演員網(wǎng)絡(luò)與評(píng)論家網(wǎng)絡(luò)，演員網(wǎng)絡(luò)actor輸入當(dāng)前環(huán)境的狀態(tài)s，輸出智能體動(dòng)作a，評(píng)論家網(wǎng)絡(luò)critor根據(jù)actor網(wǎng)絡(luò)的動(dòng)作與當(dāng)前環(huán)境的反應(yīng)對(duì)actor網(wǎng)絡(luò)的輸出做出評(píng)價(jià)，相應(yīng)的actor網(wǎng)絡(luò)根據(jù)critor網(wǎng)絡(luò)的評(píng)價(jià)改進(jìn)策略輸出，隨著回合次數(shù)的增多，actor網(wǎng)絡(luò)的輸出越來(lái)越符合環(huán)境現(xiàn)狀，critor網(wǎng)絡(luò)對(duì)actor網(wǎng)絡(luò)的評(píng)價(jià)水平越來(lái)越精確，最終達(dá)到最優(yōu)策略。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人昆明理工大學(xué)，其通訊地址為：650093 云南省昆明市五華區(qū)學(xué)府路253號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。