買(mǎi)專(zhuān)利賣(mài)專(zhuān)利找龍圖騰，真高效！ 查專(zhuān)利查商標(biāo)用IPTOP,全免費(fèi)！專(zhuān)利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜國(guó)網(wǎng)吉林省電力有限公司;國(guó)網(wǎng)吉林省電力有限公司信息通信公司;長(zhǎng)春理工大學(xué)高技術(shù)產(chǎn)業(yè)有限責(zé)任公司申請(qǐng)的專(zhuān)利基于深度Q網(wǎng)絡(luò)的電力光通信數(shù)字孿生系統(tǒng)通信協(xié)議選擇方法獲國(guó)家發(fā)明授權(quán)專(zhuān)利權(quán)，本發(fā)明授權(quán)專(zhuān)利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN119299532B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-05-16發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專(zhuān)利申請(qǐng)?zhí)?專(zhuān)利號(hào)為：202411413123.8，技術(shù)領(lǐng)域涉及：H04L69/085；該發(fā)明授權(quán)基于深度Q網(wǎng)絡(luò)的電力光通信數(shù)字孿生系統(tǒng)通信協(xié)議選擇方法是由竇增;王思雨;叢犁;黃巍;張強(qiáng);胡楊;畢彥君設(shè)計(jì)研發(fā)完成，并于2024-10-11向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專(zhuān)利申請(qǐng)。

本基于深度Q網(wǎng)絡(luò)的電力光通信數(shù)字孿生系統(tǒng)通信協(xié)議選擇方法在說(shuō)明書(shū)摘要公布了：基于深度Q網(wǎng)絡(luò)的電力光通信數(shù)字孿生系統(tǒng)通信協(xié)議選擇方法，涉及電力光通信技術(shù)與數(shù)字孿生系統(tǒng)；解決現(xiàn)有數(shù)字孿生通信系統(tǒng)中存在的傳輸效率低、可靠性差等問(wèn)題，本方法通過(guò)對(duì)獲取電力光通信光纜數(shù)據(jù)進(jìn)行傳輸，針對(duì)數(shù)字孿生系統(tǒng)的不同傳輸路徑以及所需傳輸數(shù)據(jù)的形式、大小與復(fù)雜度，選擇不同的通信協(xié)議，根據(jù)產(chǎn)生的時(shí)延信息，計(jì)算得到獎(jiǎng)勵(lì)反饋值，形成四元組，存入記憶庫(kù)中；對(duì)DQN智能體網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，在訓(xùn)練結(jié)束之后，同樣將每一次交互得到的結(jié)果存入記憶庫(kù)中，形成訓(xùn)練樣本集，采用深度學(xué)習(xí)優(yōu)化算法RMSProp算法使DQN網(wǎng)絡(luò)的均方誤差函數(shù)收斂，從而改進(jìn)DQN模型，使其精度提升。使其能夠選擇出最合理的通信協(xié)議。

本發(fā)明授權(quán)基于深度Q網(wǎng)絡(luò)的電力光通信數(shù)字孿生系統(tǒng)通信協(xié)議選擇方法在權(quán)利要求書(shū)中公布了：1.基于深度Q網(wǎng)絡(luò)的電力光通信數(shù)字孿生系統(tǒng)通信協(xié)議選擇方法，其特征是：該方法由以下步驟實(shí)現(xiàn)：步驟一、獲取電力光通信光纜數(shù)據(jù)；步驟二、對(duì)步驟一所述的電力光通信光纜數(shù)據(jù)進(jìn)行分階段傳輸，在每個(gè)階段傳輸數(shù)據(jù)時(shí)，隨機(jī)選擇通信協(xié)議，分別獲得每個(gè)階段傳輸數(shù)據(jù)的時(shí)延，再根據(jù)傳輸數(shù)據(jù)總時(shí)延獲得對(duì)應(yīng)獎(jiǎng)勵(lì)反饋值以及下一時(shí)刻的系統(tǒng)狀態(tài)，并將當(dāng)前時(shí)刻的系統(tǒng)狀態(tài)，當(dāng)前時(shí)刻選擇的動(dòng)作，當(dāng)前時(shí)刻選擇動(dòng)作后獲得的獎(jiǎng)勵(lì)反饋值以及下一時(shí)刻的系統(tǒng)狀態(tài)作為四元組存入記憶庫(kù)中；步驟三、構(gòu)建DQN智能體網(wǎng)絡(luò)模型，并采用步驟二中所述記憶庫(kù)中的四元組數(shù)據(jù)對(duì)所述網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；使訓(xùn)練后的網(wǎng)絡(luò)模型根據(jù)系統(tǒng)狀態(tài)選擇Q值最大的動(dòng)作，作為最終選擇的通信協(xié)議；將訓(xùn)練后的網(wǎng)絡(luò)模型選擇Q值最大的動(dòng)作時(shí)對(duì)應(yīng)的四元組數(shù)據(jù)存入記憶庫(kù)中作為測(cè)試樣本集，采用深度學(xué)習(xí)優(yōu)化算法RMSProp使所述網(wǎng)絡(luò)模型的均方誤差函數(shù)收斂，優(yōu)化網(wǎng)絡(luò)模型的參數(shù)；實(shí)現(xiàn)在電力光通信數(shù)字孿生系統(tǒng)中，利用深度Q網(wǎng)絡(luò)實(shí)現(xiàn)各個(gè)傳輸過(guò)程通信協(xié)議的選擇；步驟二中，對(duì)電力光通信光纜數(shù)據(jù)進(jìn)行傳輸分為三個(gè)階段，由物理實(shí)體到數(shù)字孿生體的數(shù)據(jù)傳輸過(guò)程，數(shù)字孿生體之間的數(shù)據(jù)傳輸過(guò)程以及數(shù)字孿生體與數(shù)據(jù)庫(kù)之間的數(shù)據(jù)傳輸過(guò)程；步驟三的具體實(shí)現(xiàn)過(guò)程為：步驟三一、初始化DQN智能體網(wǎng)絡(luò)模型參數(shù)，包括估計(jì)網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)中的參數(shù)、學(xué)習(xí)率α、衰減因子γ、貪婪系數(shù)ε；步驟三二、定義DQN智能體模型的最大訓(xùn)練次數(shù)K；步驟三三、系統(tǒng)根據(jù)當(dāng)前t時(shí)刻的狀態(tài)隨機(jī)選擇動(dòng)作，獲得獎(jiǎng)勵(lì)反饋值，生成四元組存入記憶庫(kù)中，然后利用記憶庫(kù)中的四元組數(shù)據(jù)對(duì)DQN智能體絡(luò)模型進(jìn)行訓(xùn)練；步驟三四、當(dāng)訓(xùn)練次數(shù)到達(dá)最大訓(xùn)練次數(shù)K時(shí)，模型訓(xùn)練結(jié)束；通過(guò)ε-greedy貪婪算法進(jìn)行動(dòng)作選擇，以ε的概率隨機(jī)選擇動(dòng)作，以1-ε的概率選擇Q值最大的動(dòng)作；步驟三五、將模型訓(xùn)練后的形成的四元組同樣存入記憶庫(kù)中，當(dāng)記憶庫(kù)容量已滿時(shí)進(jìn)行循環(huán)覆蓋，并且隨機(jī)選擇記憶庫(kù)中的存儲(chǔ)樣本，計(jì)算出預(yù)估Q值與目標(biāo)Q值；步驟三六、利用預(yù)估Q值與目標(biāo)Q值之間的差異，通過(guò)均方誤差函數(shù)，采用深度學(xué)習(xí)優(yōu)化算法RMSProp優(yōu)化網(wǎng)絡(luò)參數(shù)；將預(yù)估Q值表的參數(shù)結(jié)構(gòu)賦予目標(biāo)Q值表；步驟三七、當(dāng)均方誤差函數(shù)收斂時(shí)，結(jié)束。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類(lèi)似專(zhuān)利技術(shù)，可聯(lián)系本專(zhuān)利的申請(qǐng)人或?qū)＠麢?quán)人國(guó)網(wǎng)吉林省電力有限公司;國(guó)網(wǎng)吉林省電力有限公司信息通信公司;長(zhǎng)春理工大學(xué)高技術(shù)產(chǎn)業(yè)有限責(zé)任公司，其通訊地址為：130000 吉林省長(zhǎng)春市南關(guān)區(qū)人民大街10388號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。