買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜安徽農(nóng)業(yè)大學(xué)申請的專利一種基于DDQN算法的配送車輛動態(tài)調(diào)度優(yōu)化方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN117726040B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-06發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202311830634.5，技術(shù)領(lǐng)域涉及：G06Q10/04；該發(fā)明授權(quán)一種基于DDQN算法的配送車輛動態(tài)調(diào)度優(yōu)化方法是由劉司雨;王超;王琴;董彩月;李彬;喬梓巖;高羽佳;辜麗川;鄒能鋒設(shè)計研發(fā)完成，并于2023-12-27向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于DDQN算法的配送車輛動態(tài)調(diào)度優(yōu)化方法在說明書摘要公布了：本發(fā)明公開了一種基于DDQN算法的配送車輛動態(tài)調(diào)度優(yōu)化方法，屬于基于深度強化學(xué)習(xí)的生鮮配送車輛調(diào)度技術(shù)領(lǐng)域；本發(fā)明將生鮮配送動態(tài)車輛調(diào)度問題視為連續(xù)時間過程，基于SMDPSemi?MarkovDecisionProcess框架進行建模，并采用DDQNDoubleDeepQ?Learning算法來訓(xùn)練雙Agent，在處理“新訂單事件”和“車輛事件”時做出調(diào)度分配。該方法顯著降低了分配空間的組合復(fù)雜性，在考慮多個分配限制因素的同時，表現(xiàn)出更好的平均分配時間。通過提高系統(tǒng)資源利用率和調(diào)度效率，解決了生鮮配送延遲導(dǎo)致生鮮產(chǎn)品時效性下降的問題。

本發(fā)明授權(quán)一種基于DDQN算法的配送車輛動態(tài)調(diào)度優(yōu)化方法在權(quán)利要求書中公布了：1.一種基于DDQN算法的配送車輛動態(tài)調(diào)度優(yōu)化方法，其特征在于，包括以下步驟：S1、將生鮮配送中的動態(tài)車輛調(diào)度問題視為基于SMDP框架的連續(xù)時間過程：根據(jù)生鮮配送訂單隨時間隨機出現(xiàn)、連續(xù)分配之間時間間隔隨機的特性，擬定基于事件的SMDP公式，并定義SMDP的基本構(gòu)成：環(huán)境、狀態(tài)、動作空間、獎勵函數(shù)和環(huán)境動力學(xué)；在系統(tǒng)中，明確定義兩個觸發(fā)分配的重要事件：“新訂單事件”和“車輛事件”，將原本的多對多分配調(diào)度問題簡化為一對多分配調(diào)度問題；S2、利用離散事件模擬器進行模擬：使用Python配置離散事件模擬器；利用所述模擬器維護按時間順序排列的訂單列表，并使用特定的處理例程來處理“新訂單事件”和“車輛事件”：在模擬過程中，用概率分布表示駕駛員拒絕的概率，并使用β密度函數(shù)對其進行建模，最后，Agent利用該概率執(zhí)行伯努利試驗來確定是否拒絕訂單；S3、訓(xùn)練Agent：結(jié)合真實世界數(shù)據(jù)和模擬數(shù)據(jù)，運用DDQN算法來同時訓(xùn)練雙Agent，使其針對“新訂單事件”和“車輛事件”做出調(diào)度分配，具體包括以下步驟：S3-1、收集數(shù)據(jù)：模擬器利用真實數(shù)據(jù)中的出發(fā)地、目的地位置和到達時間，并使用概率分布進行數(shù)據(jù)模擬，將真實世界和模擬數(shù)據(jù)結(jié)合起來，用于訓(xùn)練Agent；S3-2、分類agent：由于在DVDP的SMDP公式中，分配發(fā)生在兩種不同類型的事件中，因此分別對NewOrderAgent和VehicleAgent兩種不同的代理進行訓(xùn)練；S3-3、采樣轉(zhuǎn)換：1）初始階段，Agent了解環(huán)境中的行為后果，隨機做出動作并收集一系列的經(jīng)驗轉(zhuǎn)換；2）將步驟1）中所述經(jīng)驗轉(zhuǎn)換存儲在一個“經(jīng)驗緩沖區(qū)”的池中；3）Agent從“經(jīng)驗緩沖區(qū)”中隨機選擇一批經(jīng)驗轉(zhuǎn)換組成批次，以保證訓(xùn)練所需的樣本多樣性、打破時間上的相關(guān)性并減少數(shù)據(jù)的非平穩(wěn)性；S3-4、深度神經(jīng)網(wǎng)絡(luò)驅(qū)動：當(dāng)“經(jīng)驗緩沖區(qū)”積累了一定數(shù)量的樣本后，批次中的經(jīng)驗元組相互連接，表示特定上下文中車輛和訂單之間的潛在分配；將所述經(jīng)驗元組輸入執(zhí)行梯度步驟，通過反向傳播算法更新深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，其中一個神經(jīng)網(wǎng)絡(luò)在每一步都執(zhí)行梯度下降，而另一個神經(jīng)網(wǎng)絡(luò)在一定數(shù)量的步驟之后才進行參數(shù)更新，以控制網(wǎng)絡(luò)參數(shù)同步；所述深度神經(jīng)網(wǎng)絡(luò)結(jié)合DDQN算法，使用兩個函數(shù)qA和qB,每個q函數(shù)使用另一個q函數(shù)的值更新下一個狀態(tài)，以驅(qū)動Agent更準(zhǔn)確地估計當(dāng)前狀態(tài)和動作的Q值，以qA為例： 其中，s表示智能體所處的環(huán)境狀態(tài)；a表示智能體在給定狀態(tài)下選擇的行動；s’表示在執(zhí)行動作a后智能體進入的新狀態(tài)；r表示智能體在執(zhí)行動作后從環(huán)境中獲得的即時獎勵；γ=e-βτ為折扣因子，表示對未來獎勵的重要性衰減率；α為學(xué)習(xí)率，表示在更新Q值時的學(xué)習(xí)速率，其決定了新的估計值在更新Q值時對舊的估計值的相對重要性，表示在狀態(tài)s’下選擇具有最大Q值的動作a；Agent根據(jù)估計的Q值選擇具有最大Q值的動作；NewOrderAgent將新到達的訂單分配給可用車輛；VehicleAgent將有空余容量的車輛服務(wù)于等待的訂單。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人安徽農(nóng)業(yè)大學(xué)，其通訊地址為：230036 安徽省合肥市蜀山區(qū)長江西路130號安徽農(nóng)業(yè)大學(xué)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。