買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜南京郵電大學申請的專利一種基于強化學習的自動化Windows域滲透方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN114444086B 。

龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210108140.5，技術領域涉及：G06F21/57；該發明授權一種基于強化學習的自動化Windows域滲透方法是由肖甫;占力戈;沙樂天;周劍;董建闊;張品昌;桂林卿設計研發完成，并于2022-01-28向國家知識產權局提交的專利申請。

本一種基于強化學習的自動化Windows域滲透方法在說明書摘要公布了：一種基于強化學習的自動化Windows域滲透方法，引入滲透測試的強化學習模型概念，通過強化學習與Windows域環境的真實交互自動發現攻擊路徑并做出攻擊動作，能隨時、高效的對目標域環境進行安全評估，減少時間和資源的浪費；對域環境策略的分析，基于主機對滲透過程的貢獻差異定義冗余主機，減少強化學習中非必要的狀態與攻擊動作，增加強化學習的訓練效率；將域滲透中基于用戶憑據的滲透方法與傳統滲透方法相結合，解決現有研究完全依賴主機漏洞進行路徑發現的問題，提高在域環境內的適用性與攻擊效果。

本發明授權一種基于強化學習的自動化Windows域滲透方法在權利要求書中公布了：1.一種基于強化學習的自動化Windows域滲透方法，特征在于：所述方法包括如下步驟：步驟1，以信息搜集工具、漏洞掃描工具和漏洞框架為基礎，以對應工具的擴展模塊為補充，利用python語言作為工具與工具、工具與環境間的連接腳本，構建滲透測試平臺；步驟2，使用滲透測試平臺對目標環境進行信息搜集、漏洞掃描，并依據結果匹配每臺主機使用的漏洞攻擊模塊；步驟3，使用滲透測試平臺自動進行強化學習建模；在步驟3中細分了如下的分步驟：步驟3-1，以MDP四元組S,A,R,P的形式表示強化學習，通過其在環境中不斷探索試錯得到正向、反向的獎勵reward，并依據獎勵判斷動作的優先級，強化學習在不同狀態s下的不同動作選擇a稱為策略，學習目標是優化策略π以最大化累積獎勵，使用Q學習算法求解強化學習策略，該算法使用動作、值函數Qs,a表示策略，并依據Qs,a的函數期望大小進行動作選擇；步驟3-2，依據步驟3-1中對強化學習的描述，構建四元組S,A,R,P，并由Q學習算法求解針對目標環境的最優策略；在步驟3-2中細分了如下的分步驟：步驟3-2-1，構造狀態空間S：使用主機信息及當前獲得目標主機的權限規定狀態空間，根據步驟2-1中收集的信息，每臺主機的狀態表示為“IP-操作系統-端口:服務-存在漏洞-已獲得的權限”的形式，其中，僅權限隨著滲透過程的變化而發生改變，使用“狀態編號-已獲得的權限”的形式枚舉狀態空間S，此外，將成功滲透域控制器的狀態設為目標狀態G，若主機n為域控制器，則狀態空間枚舉為“1:x-2:x-3:x-4:x-5:x……n-1:x-n:y”的集合，其中x取N、L、U；y取Null或G，其中，N、L、U分別代表主機處于的未取得權限、本地管理員權限、域普通用戶權限三種狀態，G代表當前達到最終狀態，Null則代表未達到最終狀態；步驟3-2-2，構造動作空間A：動作空間代表攻擊者使用的漏洞利用動作，其來源于滲透測試平臺中；將漏洞利用模塊細分為憑據利用模塊及常規漏洞模塊；自動化滲透時，除了利用傳統漏洞進行滲透外，還通過域用戶憑據進行橫向移動；步驟3-2-3，構造獎勵函數R：強化學習依賴與環境交互后的獎勵做出決策；執行任意動作后，智能體依據獎勵函數得到該動作的即時獎勵，并預測累積獎勵期望；獎勵來源于正向的權限提升ΔR與負面的漏洞損耗rcost；若每次權限獲取動作都產生權限增益RPA，根據每臺主機的不同權限狀態，其得分r分別為：未獲得目標主機權限：r＝0；獲得目標主機的普通用戶權限：r＝8；獲得目標主機的本地管理員權限：r＝10；獲得域管理員權限：r＝100+rextra；若某主機在漏洞利用動作前后的權限得分為r1、r2，則該動作的正向獎勵為其權限增益：ΔR＝r2-r1，r2＞r1，由于域管理員權限等同于域內所有機器的最高權限，因此到達目標狀態獲得額外得分補償rextra，其值等于將該域環境中所有主機提升為本地管理員權限獲取的得分之和；rcost由漏洞等級Vrank、漏洞可用性Vexploitble、漏洞暴露的時間Tvuln三個因素組成，其值分別來自通用漏洞評分系統CVSS的基礎得分、可用性得分以及發布漏洞的時長，rcost由如下公式表示：rcost＝10sigmoidTvuln-VexploitbleVrank10其中rcost最小值為0；權限獲取動作的獎勵為權限增益ΔR與漏洞消耗rcost之差：RPA＝ΔR-rcost步驟3-2-4，構造狀態轉移P：基于實際滲透測試工具與真實環境進行交互，通過實驗環境的交互探索狀態轉移；當強化學習選取某個動作，通過滲透測試平臺執行后，平臺將收到環境反饋的狀態變化信息，并由此探索狀態轉移；步驟4，使用滲透測試平臺自動調用攻擊模塊進行攻擊，并依據返回結果進行強化學習訓練、狀態簡化，不斷優化最優攻擊路徑。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南京郵電大學，其通訊地址為：224008 江蘇省鹽城市鹽南高新區大數據產業園創新大廈南樓15層；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。