買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉中國(guó)船舶集團(tuán)有限公司第七一九研究所申請(qǐng)的專利基于深度強(qiáng)化學(xué)習(xí)的水下航行器自動(dòng)避障策略訓(xùn)練方法獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119336032B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-04發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202411817894.3，技術(shù)領(lǐng)域涉及：G05D1/43；該發(fā)明授權(quán)基于深度強(qiáng)化學(xué)習(xí)的水下航行器自動(dòng)避障策略訓(xùn)練方法是由汪國(guó)祥;余代偉;張軍;周奇;譚安強(qiáng);閆帥;金朝;沈夢(mèng)家;孔二旦;李源;蔣軒;張芮設(shè)計(jì)研發(fā)完成，并于2024-12-11向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本基于深度強(qiáng)化學(xué)習(xí)的水下航行器自動(dòng)避障策略訓(xùn)練方法在說(shuō)明書摘要公布了：一種基于深度強(qiáng)化學(xué)習(xí)的水下航行器自動(dòng)避障策略訓(xùn)練方法，首先構(gòu)建水下航行器的物理與動(dòng)力學(xué)模型、世界與隨體坐標(biāo)系，然后構(gòu)建基于Gym的算法環(huán)境，并定義其狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)和結(jié)束條件，接著利用四元數(shù)變換更新位置與狀態(tài)空間的參數(shù)，然后基于算法環(huán)境，利用深度強(qiáng)化學(xué)習(xí)算法進(jìn)行訓(xùn)練，獲得避障神經(jīng)網(wǎng)絡(luò)模型，最后基于該模型，實(shí)施避障策略；在應(yīng)用中，通過(guò)構(gòu)建水下航行器的物理與動(dòng)力學(xué)模型，以準(zhǔn)確反映復(fù)雜環(huán)境，并結(jié)合兩種坐標(biāo)系，直觀描述航行器的位置和姿態(tài)，然后利用深度強(qiáng)化學(xué)習(xí)，學(xué)習(xí)復(fù)雜避障策略，使其能夠擴(kuò)展到三維空間自動(dòng)路徑規(guī)劃等任務(wù)場(chǎng)景中，以便在未知環(huán)境中自主制定導(dǎo)航與避障策略。因此，本發(fā)明的適用范圍較廣。

本發(fā)明授權(quán)基于深度強(qiáng)化學(xué)習(xí)的水下航行器自動(dòng)避障策略訓(xùn)練方法在權(quán)利要求書中公布了：1.一種基于深度強(qiáng)化學(xué)習(xí)的水下航行器自動(dòng)避障策略訓(xùn)練方法，其特征在于，所述方法包括：S1、構(gòu)建水下航行器的物理模型及其動(dòng)力學(xué)模型，以及水下航行器運(yùn)行時(shí)固定于水平面的世界坐標(biāo)系ηEξζ和固定于水下航行器重心的隨體坐標(biāo)系xoyz；S2、基于水下航行器的物理模型及其動(dòng)力學(xué)模型、世界坐標(biāo)系、隨體坐標(biāo)系構(gòu)建基于Gym的水下航行器人工智能算法環(huán)境，并定義人工智能算法環(huán)境的狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)和結(jié)束條件；S3、利用四元數(shù)變換更新動(dòng)力學(xué)模型中的水下航行器執(zhí)行動(dòng)作后在世界坐標(biāo)系下的位置，同時(shí)更新狀態(tài)空間中的參數(shù)，該參數(shù)包括水下航行器自身狀態(tài)、水下航行器與目標(biāo)點(diǎn)的距離、水下航行器與目標(biāo)點(diǎn)的夾角、水下航行器與障礙物的夾角與距離；S4、基于水下航行器人工智能算法環(huán)境及更新后的參數(shù)，利用深度強(qiáng)化學(xué)習(xí)算法訓(xùn)練更新后的動(dòng)力學(xué)模型，獲得避障神經(jīng)網(wǎng)絡(luò)模型；S5、基于避障神經(jīng)網(wǎng)絡(luò)模型，通過(guò)設(shè)定目標(biāo)點(diǎn)與障礙物，實(shí)施水下航行器在未知的環(huán)境中的自動(dòng)避障策略；所述獎(jiǎng)勵(lì)函數(shù)reward包括指向靠近目標(biāo)點(diǎn)獎(jiǎng)勵(lì)、平穩(wěn)安全獎(jiǎng)勵(lì)、避障獎(jiǎng)勵(lì)，其表達(dá)式如下： 所述指向靠近目標(biāo)點(diǎn)的獎(jiǎng)勵(lì)函數(shù)表達(dá)式如下： 其中：為采取動(dòng)作前水下航行器船頭指向向量與水下航行器到目標(biāo)點(diǎn)向量間的夾角，為采取動(dòng)作后水下航行器的航向向量與水下航行器到目標(biāo)點(diǎn)組成向量的夾角；所述平穩(wěn)安全的獎(jiǎng)勵(lì)函數(shù)z_penalty表達(dá)式如下： 其中：zt為當(dāng)前位置水下航行器的ζ軸方向上的坐標(biāo)，z_penalty為水下航行器的深度在危險(xiǎn)范圍內(nèi)的懲罰；tilt_penalty為水下航行器在俯仰角大于或小于時(shí)的懲罰；所述避障獎(jiǎng)勵(lì)為若干傳感器i檢測(cè)周圍障礙物的獎(jiǎng)勵(lì)之和，其獎(jiǎng)勵(lì)函數(shù)rewardiobstacle表達(dá)式如下： 其中：為水下航行器執(zhí)行動(dòng)作之前，第i個(gè)傳感器檢測(cè)到的水下航行器的船頭指向與水下航行器當(dāng)前位置、距離最近的障礙物中心構(gòu)成的向量的夾角，為水下航行器執(zhí)行動(dòng)作之后，第i個(gè)傳感器檢測(cè)到的水下航行器的航向向量與水下航行器的位置、距離最近的障礙物位置構(gòu)成的向量的夾角。

如需購(gòu)買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中國(guó)船舶集團(tuán)有限公司第七一九研究所，其通訊地址為：430000 湖北省武漢市武昌區(qū)中山路450號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。