買(mǎi)專利賣(mài)專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜中國(guó)科學(xué)院軟件研究所申請(qǐng)的專利一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)獲國(guó)家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國(guó)家知識(shí)產(chǎn)權(quán)局授予，授權(quán)公告號(hào)為：CN113902116B 。

龍圖騰網(wǎng)通過(guò)國(guó)家知識(shí)產(chǎn)權(quán)局官網(wǎng)在2025-04-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請(qǐng)?zhí)?專利號(hào)為：202111151184.8，技術(shù)領(lǐng)域涉及：G06N5/04；該發(fā)明授權(quán)一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)是由劉杰;張衡;王帥;吳懷林;王宗成;葉丹設(shè)計(jì)研發(fā)完成，并于2021-09-29向國(guó)家知識(shí)產(chǎn)權(quán)局提交的專利申請(qǐng)。

本一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)在說(shuō)明書(shū)摘要公布了：本發(fā)明公開(kāi)了一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)。本系統(tǒng)包括負(fù)載容器批處理分析工具模塊和批處理合并工具模塊、算法服務(wù)調(diào)用模塊；負(fù)載容器批處理分析工具模塊，用于將推理服務(wù)請(qǐng)求中的推理輸入?yún)?shù)保存到預(yù)處理數(shù)據(jù)集中，生成訓(xùn)練數(shù)據(jù)對(duì)各容器中的模型進(jìn)行性能測(cè)試，然后根據(jù)測(cè)試的結(jié)果指標(biāo)確定最佳參數(shù)；批處理合并工具模塊根據(jù)最佳參數(shù)預(yù)測(cè)并獲取下一時(shí)間窗口的推理服務(wù)請(qǐng)求生成批處理任務(wù)并發(fā)送到對(duì)應(yīng)容器中執(zhí)行。本發(fā)明對(duì)無(wú)服務(wù)器架構(gòu)下的深度學(xué)習(xí)推理服務(wù)性能進(jìn)行優(yōu)化，有效的利用多核并行計(jì)算能力，能夠高效的進(jìn)行高并發(fā)下的推理服務(wù)請(qǐng)求，使得在資源利用率，任務(wù)執(zhí)行延時(shí)、吞吐量方面得到了大幅度優(yōu)化。

本發(fā)明授權(quán)一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法與系統(tǒng)在權(quán)利要求書(shū)中公布了：1.一種面向深度學(xué)習(xí)模型推理批處理優(yōu)化方法，其步驟包括：1通過(guò)請(qǐng)求攔截器獲取已上線推理服務(wù)請(qǐng)求，將推理服務(wù)請(qǐng)求中的推理輸入?yún)?shù)保存到預(yù)處理數(shù)據(jù)集中；2根據(jù)推理服務(wù)請(qǐng)求所占用資源的類型，將推理服務(wù)請(qǐng)求劃分為CPU類型任務(wù)和GPU類型的任務(wù)；針對(duì)CPU類型任務(wù)設(shè)置多個(gè)容器，不同容器具有不同的內(nèi)存大小和CPU核數(shù)；針對(duì)GPU類型任務(wù)，生成若干設(shè)定內(nèi)存大小和GPU核數(shù)的GPU類型任務(wù)容器；3針對(duì)同一模型的推理服務(wù)，如果該推理服務(wù)為CPU類型任務(wù)，則根據(jù)所述預(yù)處理數(shù)據(jù)集中的推理輸入?yún)?shù)針對(duì)該模型生成不同批處理大小的訓(xùn)練數(shù)據(jù)集并輸入到各容器中對(duì)該模型進(jìn)行性能測(cè)試，然后根據(jù)測(cè)試的結(jié)果指標(biāo)生成負(fù)載性能表；然后將負(fù)載性能表中批處理合并的執(zhí)行時(shí)間Batchtime和不合并執(zhí)行時(shí)間NoBatchtime進(jìn)行比值，通過(guò)比值與設(shè)定閾值δ進(jìn)行比較結(jié)果對(duì)該負(fù)載性能表中的記錄進(jìn)行篩選；然后基于篩選出的記錄中選取批處理大小出現(xiàn)頻率最高的若干記錄，從中選取內(nèi)存最小的記錄；如果該推理服務(wù)為GPU類型任務(wù)，則根據(jù)所述預(yù)處理數(shù)據(jù)集中的推理輸入?yún)?shù)生成不同批處理大小的訓(xùn)練數(shù)據(jù)集并將其輸入GPU類型任務(wù)容器中對(duì)該模型進(jìn)行性能測(cè)試，選取滿足閾值指標(biāo)條件下批處理大小最大的記錄；4根據(jù)步驟3所選記錄確定最佳參數(shù)，即所選記錄中的批處理大小Ybatch和批處理執(zhí)行時(shí)間Tbatch；5將實(shí)時(shí)收到的推理服務(wù)請(qǐng)求緩存到任務(wù)緩存隊(duì)列中，然后工作量聚合器根據(jù)批處理執(zhí)行時(shí)間Tbatch確定一時(shí)間區(qū)間，統(tǒng)計(jì)任務(wù)緩存隊(duì)列中每一時(shí)間區(qū)間內(nèi)的推理服務(wù)請(qǐng)求量，得到一時(shí)間序列；6從該時(shí)間序列中截取最近一段時(shí)間內(nèi)的推理服務(wù)請(qǐng)求進(jìn)行預(yù)測(cè)，得到下一時(shí)間區(qū)間的服務(wù)請(qǐng)求數(shù)量并將其輸入自適應(yīng)窗口算法模型，自適應(yīng)窗口算法模型根據(jù)輸入信息對(duì)當(dāng)前窗口左右邊界進(jìn)行調(diào)整，然后從該任務(wù)緩存隊(duì)列取出窗口內(nèi)的推理服務(wù)請(qǐng)求生成批處理任務(wù)并根據(jù)推理服務(wù)請(qǐng)求所占用資源的類型發(fā)送到對(duì)應(yīng)容器中執(zhí)行。

如需購(gòu)買(mǎi)、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請(qǐng)人或?qū)＠麢?quán)人中國(guó)科學(xué)院軟件研究所，其通訊地址為：100190 北京市海淀區(qū)中關(guān)村南四街4號(hào)；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。