買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜山東省計算中心(國家超級計算濟南中心)申請的專利資源高效與服務質量感知的推理服務系統自適應調度方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115129477B 。

龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210918942.2，技術領域涉及：G06F9/50；該發明授權資源高效與服務質量感知的推理服務系統自適應調度方法是由蔡斌雷;郭芹;郭瑩;張虎設計研發完成，并于2022-08-01向國家知識產權局提交的專利申請。

本資源高效與服務質量感知的推理服務系統自適應調度方法在說明書摘要公布了：本發明公開了一種資源高效與服務質量感知的推理服務系統自適應調度方法，包括：深度學習模型自動選擇模塊利用協同過濾方法預測推理工作負載在不同深度學習模型上運行的推理性能；深度學習模型自動選擇模塊利用貪婪算法選擇滿足用戶服務質量需求的最優深度學習模型，并將最優深度學習模型部署至容器中為推理服務系統中的推理工作負載服務；協同管理模塊利用深度強化學習方法，根據推理工作負載的動態變化，協同地調整GPU資源分配和批量大小設置，本發明可根據用戶的需求自動地選擇深度學習模型，可根據推理工作負載的動態變化協同地調整GPU資源的分配和批量大小的設置。

本發明授權資源高效與服務質量感知的推理服務系統自適應調度方法在權利要求書中公布了：1.資源高效與服務質量感知的推理服務系統自適應調度方法，應用于基于容器的推理服務系統，其特征在于，所述自適應調度方法包括：構建可剖析推理服務系統中推理工作負載的深度學習模型自動選擇模塊以及構建可與推理服務系統實時交互的基于深度強化學習的協同管理模塊；所述深度學習模型自動選擇模塊利用協同過濾方法預測所述推理工作負載在不同深度學習模型上運行的推理性能，所述推理性能包括推理延遲、推理精度；所述深度學習模型自動選擇模塊利用貪婪算法選擇滿足用戶服務質量需求的最優深度學習模型，并將所述最優深度學習模型部署至容器中為所述推理服務系統中的推理工作負載服務；所述協同管理模塊利用深度強化學習方法，基于部署至容器中的最優深度學習模型，根據推理工作負載的動態變化，協同地調整GPU資源分配和批量大小設置；所述構建可剖析推理服務系統中推理工作負載的深度學習模型自動選擇模塊包括：收集生產環境中的深度學習模型以構建模型知識庫V＝{v1，v2，...，vj，...，vm}，其中，vj表示第j個深度學習模型；所述利用協同過濾方法預測所述推理工作負載在不同深度學習模型上運行的推理性能包括：①從所述推理服務系統的歷史數據中選擇n個用戶的所述推理工作負載U＝{u1，u2，...，ui，...，um}，其中，ui表示第i個用戶的所述推理工作負載；將每個所述推理工作負載ui在所述模型知識庫V中所有的所述深度學習模型上進行剖析以構建效用矩陣Pn×m，其中，效用矩陣Pn×m中的每個元素pij表示推理工作負載ui在模型知識庫V中模型vj上的推理性能；對于用戶新提交的所述推理工作負載un+1在所述模型知識庫V中任選兩個深度學習模型進行剖析以獲得un+1在任選的兩個所述深度學習模型上的推理性能，并插入效用矩陣得到新的效用矩陣Pn+1×m，上述具體表達式如下： ②利用基于在線矩陣分解的協同過濾方法來預測推理工作負載un+1在模型知識庫V中除去①中選擇的兩個所述深度學習模型之外的其它所述深度學習模型上的推理性能。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人山東省計算中心(國家超級計算濟南中心)，其通訊地址為：250000 山東省濟南市歷下區經十路東首科學院路19號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。