買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉北京億安天下科技股份有限公司申請的專利基于離網(wǎng)算力服務器的大模型推理調(diào)度方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN119537032B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-05-20發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202510088550.1，技術領域涉及：G06F9/50；該發(fā)明授權基于離網(wǎng)算力服務器的大模型推理調(diào)度方法是由李紅明;蘇浩設計研發(fā)完成，并于2025-01-21向國家知識產(chǎn)權局提交的專利申請。

本基于離網(wǎng)算力服務器的大模型推理調(diào)度方法在說明書摘要公布了：本發(fā)明涉及服務器調(diào)度技術領域，公開了基于離網(wǎng)算力服務器的大模型推理調(diào)度方法，包括以下步驟：收集離網(wǎng)算力服務器的硬件信息，構建服務器資源向量；將大模型推理任務分解為多個子任務，構建任務建模；根據(jù)離網(wǎng)服務器的硬件信息和任務依賴關系，利用優(yōu)化方法進行任務劃分；基于服務器當前的負載狀態(tài)，對子任務進行動態(tài)任務調(diào)度；根據(jù)服務器的實時計算負載，動態(tài)遷移部分任務至其他服務器，確保服務器間的負載平衡；執(zhí)行分配的任務，監(jiān)測服務器的運行狀態(tài)和任務完成情況，根據(jù)反饋數(shù)據(jù)動態(tài)調(diào)整任務分配策略。通過建模任務需求和服務器資源，結合實時監(jiān)測和優(yōu)化調(diào)度，實現(xiàn)了離網(wǎng)環(huán)境下大模型推理的高效計算和資源利用最大化。

本發(fā)明授權基于離網(wǎng)算力服務器的大模型推理調(diào)度方法在權利要求書中公布了：1.基于離網(wǎng)算力服務器的大模型推理調(diào)度方法，其特征在于，包括以下步驟：收集離網(wǎng)算力服務器的硬件信息，構建服務器資源向量；將大模型推理任務分解為多個子任務，構建任務建模；根據(jù)離網(wǎng)服務器的硬件信息和任務依賴關系，利用優(yōu)化方法進行任務劃分；基于服務器當前的負載狀態(tài)，對子任務進行動態(tài)任務調(diào)度；根據(jù)服務器的實時計算負載，動態(tài)遷移部分任務至其他服務器，確保服務器間的負載平衡；執(zhí)行分配的任務，監(jiān)測服務器的運行狀態(tài)和任務完成情況，根據(jù)反饋數(shù)據(jù)動態(tài)調(diào)整任務分配策略；所述任務建模包括：構建任務－資源矩陣，該矩陣的元素表示每個任務在每臺服務器上所需的計算代價，所述計算代價基于任務的CPU需求、GPU需求和內(nèi)存需求與服務器的可用資源計算得到；使用有向無環(huán)圖描述任務間的依賴關系；所述任務劃分包括：利用矩陣分解方法對任務－資源矩陣進行低秩分解，將任務劃分為多個子任務集合；每個子任務集合對應一臺服務器，并滿足子任務集合的計算需求與服務器的可用資源相匹配；所述動態(tài)任務調(diào)度基于博弈論優(yōu)化模型實現(xiàn)，所述博弈論優(yōu)化模型包括以下內(nèi)容：將每臺服務器建模為博弈中的一個玩家；每個玩家的效用函數(shù)包括兩個部分：子任務的計算代價和服務器當前負載與其總資源容量的比值；根據(jù)效用函數(shù)的最大化結果分配任務，設計負載均衡調(diào)整；所述負載均衡調(diào)整通過動態(tài)負載平衡模型實現(xiàn)，該模型根據(jù)服務器的當前負載和任務遷移代價確定任務的動態(tài)遷移策略；所述負載平衡模型利用微分動力系統(tǒng)建模服務器負載的動態(tài)變化，服務器負載的變化由負載衰減、自發(fā)平衡和任務遷移三部分組成，最終目標為使所有服務器的負載趨于全局平均負載。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或?qū)＠麢嗳?a target="_blank" rel="noopener noreferrer nofollow" >北京億安天下科技股份有限公司，其通訊地址為：102200 北京市昌平區(qū)超前路17號1幢1至11層101-901；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。