買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜北京珂陽科技有限公司申請的專利基于深度強化學習的半導體制造Q-time控制方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119443732B 。

龍圖騰網通過國家知識產權局官網在2025-04-18發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510030206.7，技術領域涉及：G06Q10/0631；該發明授權基于深度強化學習的半導體制造Q-time控制方法是由張磊;黃帥杰;馮白羽;華鵬飛設計研發完成，并于2025-01-08向國家知識產權局提交的專利申請。

本基于深度強化學習的半導體制造Q-time控制方法在說明書摘要公布了：本發明提供基于深度強化學習的半導體制造Q?time控制方法，涉及半導體技術領域，包括獲取工藝參數、設備狀態、工序間等待時間和批次信息，輸入到基于雙重深度神經網絡的深度強化學習模型中，計算Q?time違規風險度，并選擇調度動作；該模型采用包含Q?time違規懲罰、生產效率獎勵、設備利用率獎勵和批次平衡獎勵的綜合獎勵函數進行訓練；最后，多目標優化決策模塊根據實時監控數據和選擇的調度動作，綜合考慮產能最大化和Q?time違規最小化生成調度指令，動態調整工序安排。

本發明授權基于深度強化學習的半導體制造Q-time控制方法在權利要求書中公布了：1.基于深度強化學習的半導體制造Q-time控制方法，其特征在于，包括：獲取半導體制造過程中的工藝參數、設備狀態信息、工序間等待時間和批次信息，對所述工藝參數進行標準化處理，提取所述設備狀態信息的時序特征，并將標準化處理后的工藝參數、設備狀態信息的時序特征、工序間等待時間和批次信息輸入深度強化學習模型；所述深度強化學習模型基于輸入的信息構建狀態空間，將所述狀態空間輸入到雙重深度神經網絡，所述雙重深度神經網絡的第一神經網絡用于估計當前狀態值，所述雙重深度神經網絡的第二神經網絡用于預測目標狀態值；根據當前狀態值和目標狀態值的差值計算Q-time違規風險度，并基于所述Q-time違規風險度從預設的動作空間中選擇調度動作；其中，所述深度強化學習模型采用綜合獎勵函數進行訓練，所述綜合獎勵函數包括Q-time違規懲罰項、生產效率獎勵項、設備利用率獎勵項和批次平衡獎勵項；根據選擇的調度動作對半導體制造過程進行實時監控，將實時監控獲取的制造過程數據輸入多目標優化決策模塊，所述多目標優化決策模塊綜合考慮產能最大化和Q-time違規最小化生成調度指令，根據所述調度指令對半導體制造過程中的工序安排進行動態調整；所述深度強化學習模型基于輸入的信息構建狀態空間，將所述狀態空間輸入到雙重深度神經網絡，所述雙重深度神經網絡的第一神經網絡用于估計當前狀態值，所述雙重深度神經網絡的第二神經網絡用于預測目標狀態值；根據當前狀態值和目標狀態值的差值計算Q-time違規風險度，并基于所述Q-time違規風險度從預設的動作空間中選擇調度動作的步驟包括：采用滑動時間窗口法從工藝參數中提取參數特征，所述參數特征包括均值、標準差和趨勢斜率，采用時序編碼方式獲取設備運行狀態特征，所述設備運行狀態特征包括狀態持續時間和轉換頻率，將所述參數特征和所述設備運行狀態特征與工序間等待時間及批次信息組合構建所述深度強化學習模型的多維狀態空間；將所述多維狀態空間輸入到所述深度強化學習模型的雙重深度神經網絡，所述雙重深度神經網絡包括用于估計當前狀態值的第一神經網絡和用于預測目標狀態值的第二神經網絡，其中所述第一神經網絡采用殘差結構并通過殘差連接和多層神經元，所述第二神經網絡采用注意力機制增強的長短時記憶網絡結構并通過注意力層與記憶單元的特征融合；所述深度強化學習模型計算所述目標狀態值與所述當前狀態值的差值得到狀態值差異，基于所述狀態值差異結合Q-time上限約束和下限約束構建雙向風險度計算函數計算Q-time違規風險度；在所述深度強化學習模型預設的批次移動、批次優先級調整、設備切換和批次合并的動作空間中，基于所述當前狀態值和所述Q-time違規風險度計算候選動作的動作價值函數，所述候選動作包含批次移動、批次優先級調整、設備切換和批次合并中所有可執行的具體動作實例，所述動作價值函數包含即時獎勵和風險懲罰，并采用風險度自適應的探索策略從所述動作空間中選擇調度動作。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京珂陽科技有限公司，其通訊地址為：100176 北京市通州區經濟技術開發區西環南路26號院30號樓(嘉捷科技園A座)6層-605；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。