買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜清華大學申請的專利部分可觀測馬爾科夫決策問題的雙循環式應用方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115356923B 。

龍圖騰網通過國家知識產權局官網在2025-05-13發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210897910.9，技術領域涉及：G05B13/04；該發明授權部分可觀測馬爾科夫決策問題的雙循環式應用方法及系統是由李升波;谷子青;鄭四發;曹文涵;楊雨杰;李克強;成波設計研發完成，并于2022-07-28向國家知識產權局提交的專利申請。

本部分可觀測馬爾科夫決策問題的雙循環式應用方法及系統在說明書摘要公布了：本申請公開了一種部分可觀測馬爾科夫決策問題的雙循環式應用方法及系統，其中，方法包括：獲取汽車的觀測數據；在部分可觀測馬爾科夫決策過程中，基于觀測數據以極大似然估計的方法構建歷史信息表征的同時，將隱狀態模型的梯度信息作為內在獎勵函數，激勵最優策略學習到環境中的不確定性，求解部分可觀測馬爾科夫決策的最優策略；以及基于部分可觀測馬爾科夫決策的最優策略生成汽車的最優控制策略。由此，能夠滿足在部分可觀測及觀測中帶有噪聲的不確定性場景中，求解最優策略，并滿足相應的駕駛性能，提升了求解方法對觀測不確定性的魯棒性。

本發明授權部分可觀測馬爾科夫決策問題的雙循環式應用方法及系統在權利要求書中公布了：1.一種部分可觀測馬爾科夫決策問題的雙循環式應用方法，其特征在于，包括以下步驟：獲取汽車的觀測數據；在部分可觀測馬爾科夫決策過程中，基于所述觀測數據以極大似然估計的方法構建歷史信息表征的同時，將隱狀態模型的梯度信息作為內在獎勵函數，激勵最優策略學習到環境中的不確定性，求解所述部分可觀測馬爾科夫決策的最優策略，具體包括：基于所述觀測數據，確定隱狀態空間、動作空間、觀測空間、獎勵函數、在所述隱狀態空間上的狀態轉移模型、所述隱狀態空間與所述觀測空間的狀態轉移模型及折扣因子；根據所述隱狀態空間、所述動作空間、所述觀測空間、所述獎勵函數、在所述隱狀態空間上的狀態轉移模型、所述隱狀態空間與所述觀測空間的狀態轉移模型及所述折扣因子構建所述部分可觀測馬爾科夫決策過程；驅動所述部分可觀測馬爾科夫決策過程的外循環的觀測狀態轉移模型與驅動所述部分可觀測馬爾科夫決策過程的內循環的隱狀態轉移模型均未知，其中，在構建所述部分可觀測馬爾科夫決策過程之后，還包括：在外循環中，選擇一段觀測狀態序列作為輸入，并定義外循環中的觀測狀態轉移模型為隱狀態空間的似然函數，以通過歷史觀測的似然隱狀態驅動外部馬爾科夫過程；在內循環中，建立隨機隱狀態轉移模型，每次正向推理時，對參數服從的概率分布進行采樣，并以采樣到的參數值作為本次正向推理的參數值，且使用交互數據池中的變分下界對內循環中的隨機隱狀態轉移模型進行更新，以通過所述隨機隱狀態轉移模型驅動內部馬爾科夫過程；以及基于所述部分可觀測馬爾科夫決策的最優策略生成所述汽車的最優控制策略，具體包括：加載所述最優策略對應的神經網絡參數文件，并輸入觀測狀態序列，映射得到所述最優控制策略。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人清華大學，其通訊地址為：100084 北京市海淀區清華園1號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。