買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜北京燧原智能科技有限公司申請的專利一種大語言模型模塊化推理計算系統、方法、裝置及介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119005275B 。

龍圖騰網通過國家知識產權局官網在2025-05-02發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411496525.9，技術領域涉及：G06N3/063；該發明授權一種大語言模型模塊化推理計算系統、方法、裝置及介質是由靳超;杜天啟;李相相;李川鳴;柴亮;邱堯設計研發完成，并于2024-10-25向國家知識產權局提交的專利申請。

本一種大語言模型模塊化推理計算系統、方法、裝置及介質在說明書摘要公布了：本發明公開了一種大語言模型模塊化推理計算系統、方法、裝置及介質。通過對大語言模型模塊化推理計算系統中的文本嵌入模塊、多簇注意力模塊、多層感知機模塊和線性映射模塊分別進行不同單元的配置，來實現對輸入文本令牌序列的生成詞令牌的計算，另外的，對注意力機制計算數據流方法和線性層計算數據流方法進行了改進。解決了現有技術中受限于外部存儲帶寬，將難以充分發揮芯片的計算效率、性能差和對專業人員要求高的問題，實現了構建更加完善的大語言模型，設計了高吞吐的計算數據流，能夠充分發揮芯片的算力。

本發明授權一種大語言模型模塊化推理計算系統、方法、裝置及介質在權利要求書中公布了：1.一種大語言模型模塊化推理計算系統，其特征在于，所述大語言模型模塊化推理計算系統包括文本嵌入模塊、多簇注意力模塊、多層感知機模塊和線性映射模塊；其中，所述文本嵌入模塊，包括第一可配置歸一化計算單元；所述第一可配置歸一化計算單元包括：第一不做歸一化子單元、第一LayerNorm歸一化計算子單元和第一RMSNorm歸一化計算子單元；所述多簇注意力模塊，包括第二可配置歸一化計算單元、特征提取計算單元、多簇注意力機制計算單元、輸出線性映射計算單元和第一可配置殘差鏈接計算單元；其中，所述第二可配置歸一化計算單元包括：第二不做歸一化子單元、第二LayerNorm歸一化計算子單元和第二RMSNorm歸一化計算子單元；所述第一可配置殘差鏈接計算單元包括第一不做殘差鏈接計算子單元和第一做殘差鏈接計算子單元；所述多層感知機模塊，包括第三可配置歸一化計算單元、線性升維計算單元、可配置激活函數計算單元、線性降維計算單元和第二可配置殘差鏈接計算單元；其中，所述第三可配置歸一化計算單元包括：第三不做歸一化子單元、第三LayerNorm歸一化計算子單元和第三RMSNorm歸一化計算子單元；所述可配置激活函數計算單元包括至少一種激活函數類型的計算單元；所述第二可配置殘差鏈接計算單元包括第二不做殘差鏈接計算子單元和第二做殘差鏈接計算子單元；所述線性映射模塊，包括第四可配置歸一化計算單元和線性概率映射計算單元；其中，所述第四可配置歸一化計算單元包括：第四不做歸一化子單元、第四LayerNorm歸一化計算子單元和第四RMSNorm歸一化計算子單元；其中，所述多簇注意力機制計算單元是基于改進的注意力機制計算數據流方法進行計算的；所述特征提取計算單元、所述輸出線性映射計算單元和所述線性概率映射計算單元均是基于改進的線性層計算數據流方法進行計算的。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京燧原智能科技有限公司，其通訊地址為：100191 北京市海淀區知春路23號14層1401、1403、1405、1407室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。