買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中興通訊股份有限公司申請的專利請求處理方法、電子設備、存儲介質及程序產品獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN118966362B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411439303.3，技術領域涉及：G06N5/04；該發明授權請求處理方法、電子設備、存儲介質及程序產品是由周祥生;肖萍;屠要峰;徐進;高洪;王壯;何榮榮;鐘斌設計研發完成，并于2024-10-15向國家知識產權局提交的專利申請。

本請求處理方法、電子設備、存儲介質及程序產品在說明書摘要公布了：本申請提供一種請求處理方法、電子設備、存儲介質及程序產品，屬于人工智能技術領域。該方法包括：接收推理請求，推理請求用于請求使用大模型進行模型推理；將推理請求加入請求隊列，請求隊列用于存放多個推理請求；根據多個推理請求的推理信息，確定多個推理請求的優先級，推理信息包括多個推理請求的任務難度、等待時間和對應的用戶等級；根據多個推理請求的優先級，從多個推理請求中選擇至少一個推理請求進行一次推理階段的模型推理。由于可以根據任務難度、等待時間和對應的用戶等級確定對推理請求的調度優先級，且調度粒度精確到模型的一次推理階段，因此可以實現迭代級別的資源調度，優化資源分配，降低響應時間，提升整體服務質量。

本發明授權請求處理方法、電子設備、存儲介質及程序產品在權利要求書中公布了：1.一種請求處理方法，包括：接收推理請求，所述推理請求用于請求使用大模型進行模型推理；將所述推理請求加入請求隊列，所述請求隊列用于存放多個推理請求；根據所述多個推理請求的推理信息，確定所述多個推理請求的優先級，所述推理信息包括所述多個推理請求的任務難度、等待時間和對應的用戶等級，所述任務難度與所述推理請求的提示詞長度、用戶指定的最大輸出長度、所述大模型可以推理的請求長度上限和所述大模型對所述推理請求的剩余解碼次數中的至少一項有關；根據所述多個推理請求的優先級，從所述多個推理請求中選擇至少一個推理請求進行一次推理階段的模型推理；其中，根據所述多個推理請求的推理信息，確定所述多個推理請求的優先級，包括：對于每個所述推理請求，確定所述推理請求的狀態，所述狀態包括所述推理請求未進行預填充和所述推理請求已完成預填充且處于解碼階段；在所述推理請求的狀態為所述推理請求未進行預填充的情況下，根據所述提示詞長度、所述最大輸出長度和所述請求長度上限，確定第一優先級；在所述推理請求的狀態為所述推理請求已完成預填充且處于解碼階段的情況下，根據所述剩余解碼次數和所述請求長度上限，確定第一優先級。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中興通訊股份有限公司，其通訊地址為：518057 廣東省深圳市南山區高新技術產業園科技南路中興通訊大廈；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。