買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜余姚市機器人研究中心;浙江大學申請的專利一種基于學習和采樣的AUV信息性路徑規劃方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115686031B 。

龍圖騰網通過國家知識產權局官網在2025-05-06發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211381884.0，技術領域涉及：G05D1/43；該發明授權一種基于學習和采樣的AUV信息性路徑規劃方法是由鄭華榮;于穎;徐文設計研發完成，并于2022-11-02向國家知識產權局提交的專利申請。

本一種基于學習和采樣的AUV信息性路徑規劃方法在說明書摘要公布了：本發明公開了一種基于學習和采樣的AUV信息性路徑規劃方法，屬于自主水下航行器的路徑規劃領域。本發明首先，使用Q?learning進行AUV路徑規劃。然后，完成基于概率路線圖的Q?learning混合路徑規劃方法，降低求解問題的維度，通過混合路徑規劃方法實現洋流場中的IPP問題。最后，通過混合路徑規劃方法實現AUV的自動返航功能。本發明不僅能解決多目標優化問題，還具有運算效率高的優點，既最小化AUV的能量消耗，又考慮了AUV采樣信息價值的最大化，同時實現避障，為AUV規劃一條安全的最優路徑，以及能夠實現AUV自動返航的功能。

本發明授權一種基于學習和采樣的AUV信息性路徑規劃方法在權利要求書中公布了：1.一種基于學習和采樣的AUV信息性路徑規劃方法，其特征在于包括如下具體步驟：步驟1，使用Q-learning進行AUV路徑規劃：步驟1.1，AUV在狀態st執行動作at+1，并接收實時獎勵值rt+1＝Rst，at+1，其中R為獎勵矩陣；獎勵矩陣R以狀態S為行，動作A為列，Rsi，aj表示從當前狀態si執行動作aj達到下一個狀態sj后獲得的獎勵值；其中i，j＝1，2，...，N；獎勵矩陣R如下： 當兩個狀態不能轉移時，對應的矩陣元素設為-1，當兩個狀態能夠轉移時，如果狀態sj是目標狀態，則將矩陣元素設置為10，否則設置為0；步驟1.2，通過學習和更新建立儲存Q值的Q-table的過程，AUV能夠學習到一個目標策略π：S→A，該目標策略將狀態集S映射到動作集A，AUV將據此選擇從當前狀態到目標狀態的一系列動作，最優的目標策略π*能夠指導AUV選擇使累積獎勵期望Q值最大化的動作，此時AUV能夠以一種最節能的方式安全到達目標狀態；對于AUV路徑規劃問題，狀態空間S是AUV所有位置的集合，動作空間A是AUV所有移動的集合；Q值是AUV在某一時刻t，在位置stst∈S處采取某一動作atat∈A移動到另一個位置的未來累積獎勵的期望，定義為： 其中，π是目標策略，表示期望運算，rii＝t+1，t+2，...，t+m表示AUV在未來時刻i所獲得的獎勵值；Gt＝rt+1+γrt+2+γ2rt+3+…+γm-1rt+m表示在當前時刻t的未來m個時刻的累計折扣獎勵值，未來時刻的獎勵通過乘以折扣系數γ，γ2，…，γm-1反映在當前時刻；步驟1.3，使用時間差分法學習目標策略π；Q-table中的累積獎勵期望Q值的學習和更新過程為： 其中，α為學習率，s′為在狀態s下執行動作a后到達的下一狀態，a′為s′執行的動作，值函數Qs，a的值表示在狀態s下選擇動作a的目標策略π的質量；通過Q-table中的累積獎勵期望Q值的學習和更新這個過程，得到收斂的Q*，并為AUV學習到最優的目標策略π*；利用最優目標策略π*依次選擇動作，實現AUV從起始狀態到目標狀態的路徑規劃，得到的狀態序列對應AUV在空間中的位置；AUV根據π*選擇的動作將最終實現最短路徑的規劃目標；由得到的狀態序列組成的最優路徑P*表示為： 其中，表示最優路徑P*上的路徑點，n為路徑點的數量，表示從路徑點到路徑點的子路徑段；步驟2，基于學習和采樣的AUV信息性路徑規劃方法；步驟2.1，基于概率路線圖的Q-learning混合路徑規劃方法；概率路線圖方法包括兩個階段：圖的構建階段和圖的搜索階段；在圖的構建階段，構建一個路線圖表示AUV周圍的工作環境；首先，將環境初始化為一個空的無向圖GS，A，其中頂點集S表示一組無碰撞的AUV位置節點，即Q-learning中的狀態空間；邊集A表示無碰撞的路徑集合，即Q-learning中的動作空間；其次，使用均勻隨機采樣URS法和K最近鄰KNN算法構造路線圖；使用URS方法，在自由空間中采樣無碰撞的節點si，i＝1，2，...，N，并添加到頂點集S中；然后，使用KNN算法搜索si的k個鄰居節點，將節點si分別與它的k個鄰居節點相連，生成連線以構建路線圖；同時，檢查連線是否與任何障礙物碰撞，將無碰撞的連線添加到邊集A中，否則刪除連線；最后，得到構建的低維無碰撞概率路線圖；在圖的搜索階段，將Q-learning算法與生成的概率路線圖集成在一起，概率路線圖作為Q-learning算法的輸入，用于構建獎勵矩陣R和Q-table，將概率路線圖中的隨機采樣節點集合設置為Q-learning中的狀態空間；步驟2.2，混合路徑規劃方法實現洋流場中的IPP問題；AUV沿前進路徑Pf對環境信息進行采樣，同時考慮洋流對其能量消耗的影響；對于構造好的概率路線圖，得到一個初始的獎勵矩陣此時只有三個元素值，即-1，0和10；然后利用已知的流場和環境信息數據對獎勵矩陣進行重新設計，考慮在狀態sh處的采樣信息值以及由狀態sl轉移到狀態sh時的能量消耗將初始獎勵矩陣中的非負值重新設計為： 其中，ρ和ω為正常數權重系數，能量消耗由下式8進行計算： 其中，Pv是AUV的推進功率，與AUV的推進速度大小的立方成正比，ti是AUV沿著子路徑段行駛所花費的時間，k為AUV的阻力系數，由AUV自身的設計決定，路徑點pi對應于狀態sl，路徑點pi+1對應于狀態sh，是AUV在子路徑段上行駛時相對于海底的速度，通過和洋流速度的矢量合成得到： 在公式7中，有組合獎勵rie＝ρri-ωre，對ri和re進行無量綱處理，即進行歸一化，采用Min-Max歸一化方法，使ri和re的值在[0，1]范圍內，同時rie也被歸一化為在[0，1]范圍內；通過合理設計ρ和ω值，實現在信息收集和能量消耗之間的合理權衡，重新設計的獎勵矩陣如下： AUV在沿前進路徑Pf采樣的過程中，若能量儲備不足，則需以最節能的方式沿返回路徑Pr返回起始點；利用AUV航行時間的倒數重新設計獎勵矩陣的值，航行時間越短，能耗越少，AUV獲得的獎勵值越高，建立初始的獎勵矩陣如下： AUV返回到起始點，因此將原來的起始狀態s1設置為目標狀態，獎勵矩陣中對應位置的值為10；然后，根據已知的洋流場數據，以及AUV的推進速度大小和方向，計算得到AUV的航行時間為： 其中，Δti，j是AUV從狀態位置si，空間二維坐標為[xi，yi]，到狀態位置sj，空間二維坐標為[xj，yj]，所花費的航行時間，lcell為環境空間中單位網格的長度，為AUV相對于海底的速度大小，即推進速度，由公式9計算得到；經過重新設計得到的獎勵矩陣如下： 對獎勵矩陣進行系統的設計后，利用重新設計得到的和根據公式2分別對Q-table進行學習和更新直至其收斂，得到Qf-table和Qr-table，分別表示為矩陣形式Qfs，a與Qrs，a；AUV學習到最優目標策略和為： 根據得到AUV的最優前進路徑實現IPP任務： 根據得到AUV的最優返回路徑為： 步驟2.3，混合路徑規劃方法實現AUV的自動返航功能在AUV沿著最優前進路徑行駛的每一步，根據AUV已行駛的路徑，用公式15計算AUV在當前位置p處的剩余能量Er： 其中，ei為子路徑段上的能量消耗；找到最優前進路徑上的下一個路徑點p′，利用學習得到的Qr-table規劃從p′到起始點的最優返回路徑根據和計算AUV從當前位置p到下一路徑點p′以及從下一路徑點p′回到起點的最小能耗Em；將Er與Em進行比較，確定AUV的能量儲備是否足夠；若Er≥Em，則能量充足，AUV前往下一路徑點p′繼續采樣，此時AUV的當前位置變為p′；否則，讓AUV停止采樣，并從收斂的Qr-table中找到從當前位置p返回起始點的最低能耗的返回路徑Pr；此時，從起點到當前點AUV所行駛過的路徑就是最終的前進路徑Pf；連接Pf和Pr形成最終規劃的閉合往返軌跡P。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人余姚市機器人研究中心;浙江大學，其通訊地址為：315400 浙江省寧波市余姚市鳳山街道冶山路479號科創大廈12樓；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。