買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中國人民解放軍國防科技大學申請的專利基于雙層深度強化學習模型的最優策略獲取方法及裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114723065B 。

龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210282426.5，技術領域涉及：G06N20/00；該發明授權基于雙層深度強化學習模型的最優策略獲取方法及裝置是由馮旸赫;陳曉軒;黃金才;劉忠;程光權;梁星星;陳麗;許乃夫設計研發完成，并于2022-03-22向國家知識產權局提交的專利申請。

本基于雙層深度強化學習模型的最優策略獲取方法及裝置在說明書摘要公布了：本申請涉及一種基于雙層深度強化學習模型的最優策略獲取方法及裝置。所述方法包括：通過在策略模型中設置雙層深度強化學習模型，其中包括用于根據先驗知識啟發將目標認為分為多個子目標，在根據各子目標將目標任務的多個具體狀態映射為多個抽象狀態，并通過各抽象狀態計算在線獎勵函數的獎勵函數在線塑造模型，以及用于根據各具體狀態進行行動決策的決策模型，在決策模型進行訓練時通過獎勵函數在線塑造模型提供的在線獎勵函數以對其獎勵稠密化，加快模型收斂速度，提高模型的訓練效率。

本發明授權基于雙層深度強化學習模型的最優策略獲取方法及裝置在權利要求書中公布了：1.基于雙層深度強化學習模型的最優策略獲取方法，其特征在于，所述方法包括：獲取訓練樣本集，所述訓練樣本集中包含有與一個目標任務相關的多個具體狀態，智能體在具體狀態下執行的動作，執行動作后環境遷移到的新的具體狀態以及與各所述狀態對應的環境反饋獎勵，所述目標任務包括以工程機械為應用環境的目標任務以及以迷宮導航為應用環境的目標任務；將所述訓練樣本集輸入策略模型進行訓練直至所述策略模型具備輸出完成所述目標任務最優策略的能力，得到訓練后的最優策略模型；其中，所述最優策略模型包括均基于馬爾科夫決策過程搭建的獎勵函數在線塑造模型以及決策模型，在所述獎勵函數在線塑造模型中根據先驗知識啟發將所述目標任務分為多個子目標，并根據各所述子目標將多個具體狀態映射為多個抽象狀態，再根據各抽象狀態塑造得到在線獎勵函數以供決策模型使用，所述決策模型中包括決策網絡，根據所述環境反饋獎勵以及在線獎勵函數對所述決策網絡進行訓練以使其輸出最優策略，其中，在所述獎勵函數在線塑造模型中再根據各抽象狀態塑造得到在線獎勵函數包括：根據從一個抽象狀態轉移到另一個抽象狀態所經歷的多個具體狀態所獲得的環境反饋獎勵之和計算得到抽象狀態遷移獎勵，根據所述抽象狀態遷移獎勵進行計算得到對應抽象狀態的價值函數，并根據所述價值函數進行計算得到所述在線獎勵函數，進一步的，在對所述策略模型進行訓練時包括：將所述訓練樣本集中一組具體狀態以及對應的環境反饋獎勵分別輸入所述獎勵函數在線塑造模型以及決策模型中，在所述獎勵函數在線塑造模型中，將所述環境反饋獎勵累加到抽象狀態遷移獎勵中，再根據所述抽象函數將具體狀態映射成對應的抽象狀態，并判斷該抽象狀態是否與前一步的抽象狀態相等，若不相等，則說明當前抽象狀態發生了遷移，利用所述抽象狀態遷移獎勵更新當前抽象狀態的價值函數，若相等，則說明當前抽象狀態沒有發生遷移，則不對價值函數進行更新，利用價值函數進行計算得到在線獎勵函數，并將所述在線獎勵函數提供給所述決策模型，在所述決策模型中，根據所述具體狀態、在線獎勵函數以及環境反饋獎勵對下一步動作進行選擇并執行，并反饋給環境，環境根據所述決策模型輸出的動作給出新的具體狀態以及對應的環境反饋獎勵，以使所述獎勵函數在線塑造模型以及決策模型進行新一輪的訓練；獲取所述目標任務中的任意一具體狀態，并將該具體狀態輸入所述訓練后的最優策略模型，得到以該具體狀態為起始點完成所述目標任務的最優策略。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國人民解放軍國防科技大學，其通訊地址為：410073 湖南省長沙市開福區德雅路109號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。