買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜浙江數(shù)新網(wǎng)絡(luò)有限公司申請的專利基于值函數(shù)強化學習的嵌入式軟件時序異常檢測方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119759797B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-16發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510267696.2，技術(shù)領(lǐng)域涉及：G06F11/3668；該發(fā)明授權(quán)基于值函數(shù)強化學習的嵌入式軟件時序異常檢測方法是由張志杰;原攀峰;陳廷梁設(shè)計研發(fā)完成，并于2025-03-07向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于值函數(shù)強化學習的嵌入式軟件時序異常檢測方法在說明書摘要公布了：本發(fā)明提供基于值函數(shù)強化學習的嵌入式軟件時序異常檢測方法，涉及異常檢測技術(shù)領(lǐng)域，包括通過獲取時序數(shù)據(jù)并劃分時序片段，構(gòu)建狀態(tài)空間矩陣，采用長短時記憶網(wǎng)絡(luò)提取特征向量，基于深度神經(jīng)網(wǎng)絡(luò)生成Q值函數(shù)網(wǎng)絡(luò)，構(gòu)建基于馬氏距離的獎勵函數(shù)，采用深度Q學習算法訓練網(wǎng)絡(luò)并優(yōu)化參數(shù)，最終實現(xiàn)異常檢測。本發(fā)明能夠有效捕捉時序數(shù)據(jù)的長期依賴關(guān)系，提高異常檢測的準確性，降低誤報率，具有較強的泛化能力。

本發(fā)明授權(quán)基于值函數(shù)強化學習的嵌入式軟件時序異常檢測方法在權(quán)利要求書中公布了：1.基于值函數(shù)強化學習的嵌入式軟件時序異常檢測方法，其特征在于，包括：獲取嵌入式軟件運行過程中的時序數(shù)據(jù)，將所述時序數(shù)據(jù)按照預(yù)設(shè)時間窗口劃分為多個時序片段；針對每個所述時序片段，構(gòu)建狀態(tài)空間矩陣，所述狀態(tài)空間矩陣的行向量表示時序特征，列向量表示時間步長；基于所述狀態(tài)空間矩陣，采用長短時記憶網(wǎng)絡(luò)提取時序特征向量；將所述時序特征向量輸入深度神經(jīng)網(wǎng)絡(luò)，生成Q值函數(shù)網(wǎng)絡(luò)，所述Q值函數(shù)網(wǎng)絡(luò)用于評估時序狀態(tài)下的動作值函數(shù)；構(gòu)建獎勵函數(shù)，所述獎勵函數(shù)基于時序片段的異常程度進行計算，異常程度通過當前時序片段與歷史正常時序片段的馬氏距離度量獲得；采用深度Q學習算法訓練所述Q值函數(shù)網(wǎng)絡(luò)，在訓練過程中，基于ε-貪婪策略選擇動作，將選擇的動作與當前狀態(tài)輸入所述Q值函數(shù)網(wǎng)絡(luò)得到Q值；將所述Q值與基于所述獎勵函數(shù)計算的目標Q值進行比較，通過最小化損失函數(shù)對所述Q值函數(shù)網(wǎng)絡(luò)的參數(shù)進行優(yōu)化；基于優(yōu)化后的Q值函數(shù)網(wǎng)絡(luò)，計算時序片段的異常得分，所述異常得分通過當前狀態(tài)下最優(yōu)動作的Q值與預(yù)設(shè)閾值進行比較得到；當所述異常得分超過預(yù)設(shè)閾值時，判定當前時序片段存在異常，并輸出異常檢測結(jié)果。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人浙江數(shù)新網(wǎng)絡(luò)有限公司，其通訊地址為：311121 浙江省杭州市余杭區(qū)倉前街道文一西路1218號7號樓201室；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。