買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜山東浪潮科學研究院有限公司申請的專利一種進行模型剪枝無損加速大語言模型推理的方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN118780372B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411236951.9，技術領域涉及：G06N5/04；該發明授權一種進行模型剪枝無損加速大語言模型推理的方法及系統是由仝其勝;陳其賓;姜凱;李銳設計研發完成，并于2024-09-05向國家知識產權局提交的專利申請。

本一種進行模型剪枝無損加速大語言模型推理的方法及系統在說明書摘要公布了：本發明提出一種進行模型剪枝無損加速大語言模型推理的方法及系統，屬于人工智能技術領域，包括：利用遺傳算法選擇跳過層對LLM進行模型剪枝，通過在加速大型語言模型的推理過程中跳過LLM中的某些層進行加速，并生成推測Token序列；然后在驗證階段使用原始LLM進行一次性前向傳遞來驗證這些推測Token序列，由驗證通過的Token組成最終輸出Token序列，確保最終輸出與未更改的LLM生成的輸出保持一致，從而在保持輸出質量的同時實現推理加速。

本發明授權一種進行模型剪枝無損加速大語言模型推理的方法及系統在權利要求書中公布了：1.一種進行模型剪枝無損加速大語言模型推理的方法，其特征在于，包括：通過在加速大型語言模型的推理過程中跳過LLM中的某些層進行模型剪枝加速，并結合推測解碼策略實現無損推理，從而在整體上實現無損加速推理，適用于多種類型的大語言模型和不同的自然語言處理任務；步驟包括：利用遺傳算法選擇跳過層，并生成推測Token序列；利用推測解碼對推測Token序列進行驗證，驗證通過的Token組成最終輸出Token序列;所述利用遺傳算法選擇跳過層的具體步驟包括：問題定義：將大語言模型中選擇跳過哪些層的問題定義為一個優化問題，目標是最小化每個Token的平均推理時間；參數編碼：將每一層是否跳過的決策編碼為一個二進制值，0表示不跳過，1表示跳過，形成一個二進制串，代表一個個體；初始種群生成：隨機生成一組初始個體，形成初始種群，每個個體代表不同的層跳過組合；適應度評估：對每個個體進行評估，對每個個體應用其層跳過組合，測量模型的每個Token的平均推理時間獲得適應度值；迭代進化：重復選擇操作、交叉操作、突變操作步驟，直到滿足終止條件得到最終種群；選擇操作：根據適應度值選擇優秀的個體進入下一代；交叉操作：通過交叉操作在個體間交換信息，產生新的層跳過組合；突變操作：以一定概率隨機改變個體的某些基因；最優解確定：從最終種群中選擇平均推理時間最短的層跳過組合，作為最優層跳過組合。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人山東浪潮科學研究院有限公司，其通訊地址為：250000 山東省濟南市高新區浪潮路1036號s02樓；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。