買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜北京珂陽科技有限公司申請的專利基于深度強(qiáng)化學(xué)習(xí)的半導(dǎo)體制造Q-time控制方法獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119443732B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-04-18發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202510030206.7，技術(shù)領(lǐng)域涉及：G06Q10/0631；該發(fā)明授權(quán)基于深度強(qiáng)化學(xué)習(xí)的半導(dǎo)體制造Q-time控制方法是由張磊;黃帥杰;馮白羽;華鵬飛設(shè)計研發(fā)完成，并于2025-01-08向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于深度強(qiáng)化學(xué)習(xí)的半導(dǎo)體制造Q-time控制方法在說明書摘要公布了：本發(fā)明提供基于深度強(qiáng)化學(xué)習(xí)的半導(dǎo)體制造Q?time控制方法，涉及半導(dǎo)體技術(shù)領(lǐng)域，包括獲取工藝參數(shù)、設(shè)備狀態(tài)、工序間等待時間和批次信息，輸入到基于雙重深度神經(jīng)網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)模型中，計算Q?time違規(guī)風(fēng)險度，并選擇調(diào)度動作；該模型采用包含Q?time違規(guī)懲罰、生產(chǎn)效率獎勵、設(shè)備利用率獎勵和批次平衡獎勵的綜合獎勵函數(shù)進(jìn)行訓(xùn)練；最后，多目標(biāo)優(yōu)化決策模塊根據(jù)實(shí)時監(jiān)控數(shù)據(jù)和選擇的調(diào)度動作，綜合考慮產(chǎn)能最大化和Q?time違規(guī)最小化生成調(diào)度指令，動態(tài)調(diào)整工序安排。

本發(fā)明授權(quán)基于深度強(qiáng)化學(xué)習(xí)的半導(dǎo)體制造Q-time控制方法在權(quán)利要求書中公布了：1.基于深度強(qiáng)化學(xué)習(xí)的半導(dǎo)體制造Q-time控制方法，其特征在于，包括：獲取半導(dǎo)體制造過程中的工藝參數(shù)、設(shè)備狀態(tài)信息、工序間等待時間和批次信息，對所述工藝參數(shù)進(jìn)行標(biāo)準(zhǔn)化處理，提取所述設(shè)備狀態(tài)信息的時序特征，并將標(biāo)準(zhǔn)化處理后的工藝參數(shù)、設(shè)備狀態(tài)信息的時序特征、工序間等待時間和批次信息輸入深度強(qiáng)化學(xué)習(xí)模型；所述深度強(qiáng)化學(xué)習(xí)模型基于輸入的信息構(gòu)建狀態(tài)空間，將所述狀態(tài)空間輸入到雙重深度神經(jīng)網(wǎng)絡(luò)，所述雙重深度神經(jīng)網(wǎng)絡(luò)的第一神經(jīng)網(wǎng)絡(luò)用于估計當(dāng)前狀態(tài)值，所述雙重深度神經(jīng)網(wǎng)絡(luò)的第二神經(jīng)網(wǎng)絡(luò)用于預(yù)測目標(biāo)狀態(tài)值；根據(jù)當(dāng)前狀態(tài)值和目標(biāo)狀態(tài)值的差值計算Q-time違規(guī)風(fēng)險度，并基于所述Q-time違規(guī)風(fēng)險度從預(yù)設(shè)的動作空間中選擇調(diào)度動作；其中，所述深度強(qiáng)化學(xué)習(xí)模型采用綜合獎勵函數(shù)進(jìn)行訓(xùn)練，所述綜合獎勵函數(shù)包括Q-time違規(guī)懲罰項(xiàng)、生產(chǎn)效率獎勵項(xiàng)、設(shè)備利用率獎勵項(xiàng)和批次平衡獎勵項(xiàng)；根據(jù)選擇的調(diào)度動作對半導(dǎo)體制造過程進(jìn)行實(shí)時監(jiān)控，將實(shí)時監(jiān)控獲取的制造過程數(shù)據(jù)輸入多目標(biāo)優(yōu)化決策模塊，所述多目標(biāo)優(yōu)化決策模塊綜合考慮產(chǎn)能最大化和Q-time違規(guī)最小化生成調(diào)度指令，根據(jù)所述調(diào)度指令對半導(dǎo)體制造過程中的工序安排進(jìn)行動態(tài)調(diào)整；所述深度強(qiáng)化學(xué)習(xí)模型基于輸入的信息構(gòu)建狀態(tài)空間，將所述狀態(tài)空間輸入到雙重深度神經(jīng)網(wǎng)絡(luò)，所述雙重深度神經(jīng)網(wǎng)絡(luò)的第一神經(jīng)網(wǎng)絡(luò)用于估計當(dāng)前狀態(tài)值，所述雙重深度神經(jīng)網(wǎng)絡(luò)的第二神經(jīng)網(wǎng)絡(luò)用于預(yù)測目標(biāo)狀態(tài)值；根據(jù)當(dāng)前狀態(tài)值和目標(biāo)狀態(tài)值的差值計算Q-time違規(guī)風(fēng)險度，并基于所述Q-time違規(guī)風(fēng)險度從預(yù)設(shè)的動作空間中選擇調(diào)度動作的步驟包括：采用滑動時間窗口法從工藝參數(shù)中提取參數(shù)特征，所述參數(shù)特征包括均值、標(biāo)準(zhǔn)差和趨勢斜率，采用時序編碼方式獲取設(shè)備運(yùn)行狀態(tài)特征，所述設(shè)備運(yùn)行狀態(tài)特征包括狀態(tài)持續(xù)時間和轉(zhuǎn)換頻率，將所述參數(shù)特征和所述設(shè)備運(yùn)行狀態(tài)特征與工序間等待時間及批次信息組合構(gòu)建所述深度強(qiáng)化學(xué)習(xí)模型的多維狀態(tài)空間；將所述多維狀態(tài)空間輸入到所述深度強(qiáng)化學(xué)習(xí)模型的雙重深度神經(jīng)網(wǎng)絡(luò)，所述雙重深度神經(jīng)網(wǎng)絡(luò)包括用于估計當(dāng)前狀態(tài)值的第一神經(jīng)網(wǎng)絡(luò)和用于預(yù)測目標(biāo)狀態(tài)值的第二神經(jīng)網(wǎng)絡(luò)，其中所述第一神經(jīng)網(wǎng)絡(luò)采用殘差結(jié)構(gòu)并通過殘差連接和多層神經(jīng)元，所述第二神經(jīng)網(wǎng)絡(luò)采用注意力機(jī)制增強(qiáng)的長短時記憶網(wǎng)絡(luò)結(jié)構(gòu)并通過注意力層與記憶單元的特征融合；所述深度強(qiáng)化學(xué)習(xí)模型計算所述目標(biāo)狀態(tài)值與所述當(dāng)前狀態(tài)值的差值得到狀態(tài)值差異，基于所述狀態(tài)值差異結(jié)合Q-time上限約束和下限約束構(gòu)建雙向風(fēng)險度計算函數(shù)計算Q-time違規(guī)風(fēng)險度；在所述深度強(qiáng)化學(xué)習(xí)模型預(yù)設(shè)的批次移動、批次優(yōu)先級調(diào)整、設(shè)備切換和批次合并的動作空間中，基于所述當(dāng)前狀態(tài)值和所述Q-time違規(guī)風(fēng)險度計算候選動作的動作價值函數(shù)，所述候選動作包含批次移動、批次優(yōu)先級調(diào)整、設(shè)備切換和批次合并中所有可執(zhí)行的具體動作實(shí)例，所述動作價值函數(shù)包含即時獎勵和風(fēng)險懲罰，并采用風(fēng)險度自適應(yīng)的探索策略從所述動作空間中選擇調(diào)度動作。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人北京珂陽科技有限公司，其通訊地址為：100176 北京市通州區(qū)經(jīng)濟(jì)技術(shù)開發(fā)區(qū)西環(huán)南路26號院30號樓(嘉捷科技園A座)6層-605；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。