買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜浙江工業(yè)大學(xué)申請的專利一種基于A3C和事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN114488786B 。

龍圖騰網(wǎng)通過國家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號(hào)為：202111224264.1，技術(shù)領(lǐng)域涉及：G05B13/04；該發(fā)明授權(quán)一種基于A3C和事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方法是由張棟輝;張丹設(shè)計(jì)研發(fā)完成，并于2021-10-20向國家知識(shí)產(chǎn)權(quán)局提交的專利申請。

本一種基于A3C和事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方法在說明書摘要公布了：一種基于A3C和事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方法，屬于網(wǎng)絡(luò)化電機(jī)控制技術(shù)領(lǐng)域。它包括以下步驟：1、建立網(wǎng)絡(luò)化伺服控制系統(tǒng)的系統(tǒng)模型；2、設(shè)計(jì)考慮離散系統(tǒng)的事件觸發(fā)策略3、基于事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方案設(shè)計(jì)；4、控制器設(shè)計(jì)；5、強(qiáng)化學(xué)習(xí)A3C方案設(shè)計(jì)。本發(fā)明給出網(wǎng)絡(luò)化伺服系統(tǒng)的數(shù)學(xué)模型，并使用時(shí)延系統(tǒng)的分析方法，提出了一個(gè)事件觸發(fā)機(jī)制和狀態(tài)反饋控制的閉環(huán)時(shí)延系統(tǒng)；導(dǎo)出控制器的設(shè)計(jì)方法；設(shè)計(jì)一個(gè)基于事件觸發(fā)狀態(tài)反饋控制算法，利用線性矩陣不等式工具箱獲得控制器參數(shù)；最后，通過A3C方案的優(yōu)化，設(shè)計(jì)了一個(gè)基于A3C和事件觸發(fā)的動(dòng)態(tài)閾值狀態(tài)反饋控制算法；能夠自主調(diào)節(jié)觸發(fā)參數(shù)的動(dòng)態(tài)事件觸發(fā)策略。

本發(fā)明授權(quán)一種基于A3C和事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方法在權(quán)利要求書中公布了：1.一種基于A3C和事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方法，其特征在于，包括以下步驟；1建立網(wǎng)絡(luò)化伺服控制系統(tǒng)的系統(tǒng)模型：定義xk∈Rp表示系統(tǒng)的狀態(tài)向量，uk∈Rm表示系統(tǒng)的控制輸入，ωk∈Rq表示系統(tǒng)的干擾，yk∈Rp表示系統(tǒng)輸出，其中p、m、q分別表示xk、uk、ωk的維度，A，B，F(xiàn)，C都是滿足維數(shù)要求的系統(tǒng)參數(shù)矩陣，則系統(tǒng)模型為：xk+1＝Axk+Buk+Fωkyk＝Cxk設(shè)計(jì)基于狀態(tài)反饋信號(hào)的伺服系統(tǒng)控制器：uk＝Kxk，K表示控制器增益；2設(shè)計(jì)考慮離散系統(tǒng)的事件觸發(fā)策略：在網(wǎng)絡(luò)系統(tǒng)中，受到通信資源受限和長距離傳輸?shù)挠绊懀嬖趥鬏斞舆tτj，其中為大于0的實(shí)數(shù)，應(yīng)用零階保持器，系統(tǒng)在事件產(chǎn)生器下的動(dòng)態(tài)模型表示為： 其中，kj表示系統(tǒng)的采樣時(shí)刻，當(dāng)前采樣時(shí)刻的數(shù)據(jù)xkj是否被發(fā)送用來更新控制器由以下的條件判斷：[xk-xkj]TΦj[xk-xkj]≤εjxTkΦjxk其中，Φj為正定矩陣，然后通過公式推導(dǎo)得到延時(shí)函數(shù)為： 定義最大采樣時(shí)間得到： 其中， 3基于事件觸發(fā)的網(wǎng)絡(luò)化伺服系統(tǒng)控制方案設(shè)計(jì)：定義上一時(shí)刻與下一時(shí)刻采樣時(shí)間之間狀態(tài)誤差為： 事件觸發(fā)的判斷條件可改寫為：ekkTΦjekk≤εjxTk-dkΦjxk-dk基于事件觸發(fā)的網(wǎng)絡(luò)化伺服控制系統(tǒng)模型可以被描述為： 其中表示系統(tǒng)的初始狀態(tài)；4控制器設(shè)計(jì)：給定0≤εj≤1，γ＞0，τM＞0和適當(dāng)維度的矩陣Pj＞0，Qj＞0，Rj＞0，Zj0，Φj＞0和K使得下列不等式成立： 則基于事件觸發(fā)的網(wǎng)絡(luò)化伺服控制系統(tǒng)模型為在均方意義上是指數(shù)穩(wěn)定的并且具有給定的H∞性能水平γ，可得控制器增益K： 5強(qiáng)化學(xué)習(xí)A3C方案設(shè)計(jì)：基于A3C的強(qiáng)化學(xué)習(xí)方法對閾值進(jìn)行優(yōu)化，得到在保證系統(tǒng)性能的情況下，觸發(fā)次數(shù)較少的動(dòng)態(tài)閾值，強(qiáng)化學(xué)習(xí)的問題通常可以轉(zhuǎn)化為一個(gè)動(dòng)態(tài)規(guī)劃問題，所以將動(dòng)態(tài)閾值問題轉(zhuǎn)化為一個(gè)多維動(dòng)態(tài)規(guī)劃問題，并用一個(gè)五元組Sr，Ar，Pr，λr，r表示，其中，Sr設(shè)計(jì)狀態(tài)空間、Ar為設(shè)計(jì)動(dòng)作空間、Pr為概率轉(zhuǎn)移矩陣、λr為設(shè)計(jì)折扣函數(shù)、r為設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)；5.1設(shè)計(jì)狀態(tài)空間Sr，Sr用來表示系統(tǒng)的狀態(tài)集，為了讓訓(xùn)練的閾值使系統(tǒng)能夠在保持良好性能的情況下盡可能地減少觸發(fā)次數(shù)，將第n段時(shí)間內(nèi)觸發(fā)的總數(shù)記為tn，將這段時(shí)間內(nèi)系統(tǒng)的平均輸出值記為yn，因此，定義sr，n＝[Xnyntn]T，其中Xn表示第n段時(shí)間內(nèi)系統(tǒng)的最后一次輸出的狀態(tài)；5.2設(shè)計(jì)動(dòng)作空間Ar，Ar是由一組在環(huán)境中執(zhí)行的Agent組成，Agent的每一次執(zhí)行，都會(huì)對環(huán)境進(jìn)行更新，Agent的輸出是所需要的事件觸發(fā)條件的閾值，對Agent進(jìn)行擴(kuò)張，定義ar，n＝εj，nar，n≤εj，其中εj，n表示第n段時(shí)間內(nèi)的閾值，εj表示閾值的上限，將第n段時(shí)間內(nèi)的閾值進(jìn)行擴(kuò)張?zhí)幚恚远xar，n，i＝εj，n，i＝εj，n+0.001*h，h∈[-5，4]，i∈[1，2，...，10]；5.3概率轉(zhuǎn)移矩陣Pr：Sr*Ar→ΛSr表示在當(dāng)前環(huán)境執(zhí)行當(dāng)前動(dòng)作ar，n后，下一個(gè)環(huán)境狀態(tài)sr，n+1的分布，即推導(dǎo)出來的基于事件觸發(fā)的伺服系統(tǒng)狀態(tài)空間方程；5.4設(shè)計(jì)折扣函數(shù)λr：λr的大小決定了對長期獎(jiǎng)勵(lì)的影響，λr∈[0，1]；5.5設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)rsr，n，ar，n：rsr，n，ar，n是將一組相對應(yīng)的狀態(tài)-動(dòng)作映射到一個(gè)標(biāo)量上的函數(shù)，其表示當(dāng)前動(dòng)作ar，n施加在以sr，n為狀態(tài)的當(dāng)前環(huán)境后得到的即時(shí)獎(jiǎng)勵(lì)，同時(shí)使用雙獎(jiǎng)勵(lì)函數(shù)，首先，在對Agent進(jìn)行擴(kuò)張的情況下，計(jì)算出每一條子線程的即時(shí)獎(jiǎng)勵(lì)，定義其中，sr，n，i表示第n段時(shí)間內(nèi)第i條子線程最后的環(huán)境狀態(tài)，并篩選出最小的獎(jiǎng)勵(lì)定義總獎(jiǎng)勵(lì)函數(shù)， 其中sr，n，b表示εj，n，i＝εj，n的子線程的閾值，表示獎(jiǎng)勵(lì)為的環(huán)境狀態(tài)，rb表示狀態(tài)為sr，n，b的即時(shí)獎(jiǎng)勵(lì)，表示對觸發(fā)頻率和收斂速度的比重。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人浙江工業(yè)大學(xué)，其通訊地址為：310006 浙江省杭州市拱墅區(qū)朝暉六區(qū)潮王路18號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。