買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中國科學(xué)院自動化研究所申請的專利視覺變化環(huán)境的強(qiáng)化學(xué)習(xí)泛化方法及裝置獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN117973554B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-03-21發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202311865731.8，技術(shù)領(lǐng)域涉及：G06N20/00；該發(fā)明授權(quán)視覺變化環(huán)境的強(qiáng)化學(xué)習(xí)泛化方法及裝置是由張啟超;孫敬博;趙冬斌設(shè)計研發(fā)完成，并于2023-12-29向國家知識產(chǎn)權(quán)局提交的專利申請。

本視覺變化環(huán)境的強(qiáng)化學(xué)習(xí)泛化方法及裝置在說明書摘要公布了：本發(fā)明提供一種視覺變化環(huán)境的強(qiáng)化學(xué)習(xí)泛化方法及裝置，包括：將當(dāng)前時刻智能體的原始狀態(tài)、當(dāng)前時刻智能體的動作、當(dāng)前時刻智能體的環(huán)境獎勵以及下一時刻智能體的原始狀態(tài)關(guān)聯(lián)存放于回放池中；使用增強(qiáng)函數(shù)對原始狀態(tài)進(jìn)行增強(qiáng)，得到原始狀態(tài)對應(yīng)的增強(qiáng)狀態(tài)；對原始狀態(tài)以及增強(qiáng)狀態(tài)分別加入顯著性引導(dǎo)信息，結(jié)合回放池中的數(shù)據(jù)以及增強(qiáng)狀態(tài)獲取智能體的價值一致性損失，基于價值一致性損失更新智能體的價值網(wǎng)絡(luò)及表征網(wǎng)絡(luò)；獲取原始狀態(tài)以及增強(qiáng)狀態(tài)對應(yīng)的智能體的策略一致性損失，基于策略一致性損失更新智能體的策略網(wǎng)絡(luò)；通過動力學(xué)模型獲取原始狀態(tài)以及增強(qiáng)狀態(tài)對應(yīng)的智能體的動力學(xué)損失，基于動力學(xué)損失更新智能體的表征網(wǎng)絡(luò)與動力學(xué)模型。

本發(fā)明授權(quán)視覺變化環(huán)境的強(qiáng)化學(xué)習(xí)泛化方法及裝置在權(quán)利要求書中公布了：1.一種視覺變化環(huán)境的強(qiáng)化學(xué)習(xí)泛化方法，應(yīng)用于基于視覺輸入進(jìn)行決策控制的智能體，其中，智能體的狀態(tài)為視覺輸入的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)描述智能體所關(guān)注的任務(wù)，智能體的動作為控制目標(biāo)的控制變量，其特征在于，包括：將當(dāng)前時刻智能體的原始狀態(tài)、當(dāng)前時刻智能體的動作、當(dāng)前時刻智能體的環(huán)境獎勵以及下一時刻智能體的原始狀態(tài)關(guān)聯(lián)存放于回放池中；其中，在智能體行走控制任務(wù)中，動作為行走的關(guān)節(jié)控制變量，所述環(huán)境獎勵包括健康獎勵和前向行走獎勵；或者，在智能體倒立擺控制任務(wù)中，動作為倒立擺的關(guān)節(jié)控制變量，所述環(huán)境獎勵為處于倒立狀態(tài)的時間步數(shù)；或者，在智能體在長方體環(huán)境中轉(zhuǎn)動控制任務(wù)中，動作為手指的關(guān)節(jié)控制變量，所述環(huán)境獎勵為手指與目標(biāo)點(diǎn)的距離；使用增強(qiáng)函數(shù)對所述回放池中的原始狀態(tài)進(jìn)行增強(qiáng)，得到所述回放池中的原始狀態(tài)對應(yīng)的增強(qiáng)狀態(tài)；對所述回放池中的原始狀態(tài)以及所述增強(qiáng)狀態(tài)分別加入顯著性引導(dǎo)信息，并結(jié)合所述回放池中的數(shù)據(jù)以及所述增強(qiáng)狀態(tài)獲取智能體的價值一致性損失，基于所述價值一致性損失更新智能體的價值網(wǎng)絡(luò)及表征網(wǎng)絡(luò)；所述顯著性引導(dǎo)信息為與智能體所關(guān)注的任務(wù)相關(guān)的信息；獲取所述回放池中的原始狀態(tài)以及所述增強(qiáng)狀態(tài)對應(yīng)的智能體的策略一致性損失，基于所述策略一致性損失更新智能體的策略網(wǎng)絡(luò)；所述策略一致性損失是基于原始狀態(tài)下的策略分布與增強(qiáng)狀態(tài)下的策略分布之間的KL散度得到的；通過動力學(xué)模型獲取所述回放池中的原始狀態(tài)以及所述增強(qiáng)狀態(tài)對應(yīng)的智能體的動力學(xué)損失，基于所述動力學(xué)損失更新智能體的表征網(wǎng)絡(luò)與動力學(xué)模型；所述通過動力學(xué)模型獲取所述回放池中的原始狀態(tài)以及所述增強(qiáng)狀態(tài)對應(yīng)的智能體的動力學(xué)損失，包括：通過動力學(xué)模型，獲取所述回放池中的原始狀態(tài)對應(yīng)的第一動力學(xué)損失；通過動力學(xué)模型，獲取所述增強(qiáng)狀態(tài)對應(yīng)的第二動力學(xué)損失；根據(jù)所述第一動力學(xué)損失以及所述第二動力學(xué)損失，得到智能體的動力學(xué)損失；其中，所述動力學(xué)模型包括狀態(tài)轉(zhuǎn)移預(yù)測網(wǎng)絡(luò)、獎勵預(yù)測網(wǎng)絡(luò)以及智能體的表征網(wǎng)絡(luò)，所述狀態(tài)轉(zhuǎn)移預(yù)測網(wǎng)絡(luò)用于根據(jù)當(dāng)前狀態(tài)與動作預(yù)測下一狀態(tài)，所述獎勵預(yù)測網(wǎng)絡(luò)用于根據(jù)當(dāng)前狀態(tài)與動作預(yù)測獎勵。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人中國科學(xué)院自動化研究所，其通訊地址為：100190 北京市海淀區(qū)中關(guān)村東路95號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。