買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜江蘇大學;江蘇鎮安電力設備有限公司;江蘇中能欣潤電力科技有限公司申請的專利基于Rainbow深度Q網絡的微電網能量管理方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114742453B 。

龍圖騰網通過國家知識產權局官網在2025-04-29發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210485042.3，技術領域涉及：G06Q10/0637；該發明授權基于Rainbow深度Q網絡的微電網能量管理方法是由劉國海;左致遠;陳兆嶺;孫文卿;陳成友;吳振飛;張健鵬;張群峰;王傳斌設計研發完成，并于2022-05-06向國家知識產權局提交的專利申請。

本基于Rainbow深度Q網絡的微電網能量管理方法在說明書摘要公布了：本發明公開了一種基于Rainbow深度Q網絡的微電網能量管理方法，以居民區微電網中的電動汽車和儲能設備作為被控載體，將微電網一天24小時的負荷需求、光伏以及風力出力、電動汽車和儲能設備的荷電狀態預測數據作為Rainbow深度Q網絡的狀態空間輸入，通過智能體學習并執行電動汽車以及儲能設備的充、放電動作，從而實現以保證功率穩定和設備壽命安全的前提之下的微電網一日運行成本最低的目的。該方法由于可以解決可再生能源的隨機性和間歇性導致的微電網能量管理模型建模困難，而且訓練后具備快速收斂性，從而能夠有效地解決由于可再生能源的不確定性、能量流動和負荷的多樣性導致的微電網能量利用率低、運行成本較高的缺陷。

本發明授權基于Rainbow深度Q網絡的微電網能量管理方法在權利要求書中公布了：1.基于Rainbow深度Q網絡的微電網能量管理方法，其特征在于，包括如下步驟：步驟1：根據居民微電網建立與之對應的能量管理仿真模型，在日前調度階段，獲取未來一天的光伏和風能發電預測出力數據、微電網的實時負荷需求預測數據以及大電網的實時電價預測數據，將其作為模型的訓練數據集；步驟2：定義強化學習中馬爾科夫決策所決定的微電網能量管理仿真模型所需的訓練環境，包括如下子步驟：2.1定義環境狀態空間，調度當日0時至23時的負荷需求、新能源的出力功率以及電動汽車的實時荷電狀態和儲能設備的實時荷電狀態四個部分，構成本次能量管理仿真模型所需的環境狀態空間St；2.2定義智能體動作空間：通過調度所述智能體執行電動汽車和儲能設備的充放電動作進行控制；2.3定義獎勵函數，所述獎勵函數引導所述智能體實現預定的微電網能量管理優化；2.4設置微電網后備安全控制器，所述微電網后備安全控制器用于控制所述智能體執行過充或過放誤操作；2.5執行實際控制指令：所述智能體執行從Rainbow深度Q網絡中學習出的動作，進行充放電操作；2.6與大電網交互：通過公共聯接點與大電網相連接，在新能源出力能滿足微電網負荷需求后仍有多余的時刻，將剩余的電量回饋給大電網；在新能源出力和儲能設備、電動汽車以最大功率輸出仍不能滿足微電網負荷需求的時刻，以實時電價從大電網購電，從而實現整個微電網系統的實時功率平衡；步驟3：采用Rainbow深度Q網絡，對步驟2定義的微電網能量管理模型進行訓練，將0至23時分為24個調度時刻，每一小時作為一步，一幕為24時；利用該日的實時預測數據進行反復多幕的訓練，直至最終的獎勵函數達到收斂；步驟3包含以下子步驟：3.1構建Rainbow深度Q網絡，包括以下部分：I構建包含兩個全連接層和一個隱藏層的神經網絡，對所有的全連接層的權重，加上一個高斯分布的噪聲項進行干擾以替代原有的ε-greedy隨機-貪婪探索方式，提高算法的探索合理性；II在輸出層Q網絡前加入一個競爭網絡，將輸出的Q函數拆分成價值函數V狀態下所有Q值的平均數和優勢函數A被限制平均為0的數之和；具體公式如下： 其中，α和β分別為價值函數網絡層和優勢函數網絡層的參數，1|A|為優勢函數的平均值；III搭建兩個Q網絡作為神經網絡最后的輸出層，將動作選擇和價值估計進行解耦，一個網絡用于對狀態下所有動作的評估，另一個用于具體動作的選擇，用以改善自舉所造成的過估計誤差；IV使用多步學習Muti-stepLearning方法更新Q網絡，用以加速Q網絡的收斂，公式如下： 其中，n為更新的步幅長度，w為神經網絡參數，γ為折扣率；3.2優先經驗回放池：設定一個容量固定的經驗池，將所述智能體已經訓練過的每一組數據st,at,rt,st+1存放入經驗回放池中，并根據之前訓練時所造成的誤差大小，用公式排列優先度來評估每一組數據重新送入神經網絡中訓練的順序和概率，目的是增加數據的利用率以及減小相鄰數據的相關性，具體采樣公式如下式所示： 其中，Xi為這一組經驗在之前訓練時所造成的誤差值，ε為防止pi為0的噪聲，z為退火因子，用以調節優先度；步驟4：將步驟3訓練完畢的智能體應用于該日的微電網能量管理，在進行每一幕的訓練時，將每一個調度時刻的模型狀態空間數據輸入神經網絡，得出該狀態空間下每一個可執行動作的動作價值函數；通過橫向比較每個動作的動作價值函數選出最優動作并將其轉化為實際指令，從而控制儲能設備以及電動汽車的充放電操作。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人江蘇大學;江蘇鎮安電力設備有限公司;江蘇中能欣潤電力科技有限公司，其通訊地址為：212013 江蘇省鎮江市學府路301號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。