買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中國人民解放軍軍事科學院國防科技創新研究院申請的專利一種基于深度強化學習的無人車跟隨分層控制方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115617040B 。

龍圖騰網通過國家知識產權局官網在2025-03-21發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211192967.5，技術領域涉及：G05D1/43；該發明授權一種基于深度強化學習的無人車跟隨分層控制方法是由王旭;商爾科;聶一鳴;劉泱;戴斌設計研發完成，并于2022-09-28向國家知識產權局提交的專利申請。

本一種基于深度強化學習的無人車跟隨分層控制方法在說明書摘要公布了：本發明公開一種基于深度強化學習的無人車跟隨分層控制方法，屬于無人駕駛汽車技術領域。建立車輛跟隨兩車距離和目標車坐標相對跟隨車正前方向的偏角的運動學模型；訓練目標識別算法識別目標車并在跟隨車上部署該算法；根據識別結果計算目標車相對于跟隨車的坐標；將跟車問題建立為馬爾可夫決策過程，并利用車輛控制延遲和減速度設計獎勵函數；之后采用深度強化學習算法訓練車輛跟隨智能體神經網絡模型；控制跟隨車的加速度和角速度；最后將車輛跟隨智能體神經網絡模型部署在跟隨車上，利用底層控制算法中的各個參數來控制跟隨車。本發明無需知道目標車的運動學模型和動力學模型，同時實現在橫向和縱向的跟隨，能夠直接應用在實車上無需遷移操作。

本發明授權一種基于深度強化學習的無人車跟隨分層控制方法在權利要求書中公布了：1.一種基于深度強化學習的無人車分層車輛跟隨控制方法，其特征在于，包括以下步驟：S1：建立車輛跟隨兩車距離Dtarget和目標車坐標相對跟隨車正前方向的偏角θ的運動學模型；S2：實驗得出跟隨車控制延遲tdelay和慣性減速時的減速度λ；S3：訓練目標識別算法識別目標車并在跟隨車上部署該目標識別算法；S4：根據S3中算法識別的結果計算出目標車相對于跟隨車的坐標，并使用S1中的運動學模型計算兩車距離Dtarget和偏角θ并存儲為數據集；S5：將跟車問題建立為馬爾可夫決策過程，并利用S2中的車輛控制延遲tdelay和減速度λ設計獎勵函數；S6：利用S5中的馬爾可夫決策過程和獎勵函數，采用深度強化學習算法訓練車輛跟隨智能體神經網絡模型；S7：調整基于控制理論的底層控制算法中的各個參數來控制跟隨車的加速度和角速度；S8：將S6中訓練的模型部署在跟隨車上，并利用S7中的參數來控制跟隨車；所述步驟S1進一步包括：S100：以跟隨車坐標為原點，車頭方向為y軸建立右手坐標系；S101：目標車相對于跟隨車的坐標為x,y，兩車距離目標車坐標相對跟隨車正前方向的偏角θ， 所述步驟S5進一步包括：S500：動作空間為二元組Vfollower,O，其中Vfollower是跟隨車的速度范圍，單位為米，O是跟隨車的角度變化范圍，單位為角度；動作表示在當前狀態下要跟隨車的期望速度和角度；下層采用基于控制理論的底層控制算法來計算具體的加速度和角速度；S501：狀態空間為Vfollower,Dtarget,θ，其中Vfollower為跟隨車的速度，Dtarget為目標車與跟隨車之間的距離，θ為目標車坐標相對于跟隨車車頭方向的偏角；S502：縱向控制獎勵函數Rl為： 其中Dsafe為跟隨車與目標車的安全距離，Dbraling為跟隨車制動距離，計算方法為：Dbraking＝Vfollower*tdelay+0.5*Vfollower2A，其中tdelay為跟隨車的控制延遲，λ為跟隨車慣性運動時的減速度；S503：橫向控制獎勵函數Ra為：Ra＝-|θ+Ot|3其中Ot為t時刻跟隨車應該保持的角度；S504：最終的獎勵函數為：R＝Rl+Ra4。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國人民解放軍軍事科學院國防科技創新研究院，其通訊地址為：100071 北京市豐臺區豐臺東大街53號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。