買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜杭州滄海觀止科技有限公司申請的專利一種面向大語言模型的增量模型合并方法和系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119294465B 。

龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411803376.6，技術領域涉及：G06N3/084；該發明授權一種面向大語言模型的增量模型合并方法和系統是由陳曉露;陳天楚;汪玲潔;范全放;施青松設計研發完成，并于2024-12-10向國家知識產權局提交的專利申請。

本一種面向大語言模型的增量模型合并方法和系統在說明書摘要公布了：本發明公開了一種面向大語言模型的增量模型合并方法和系統，屬于機器學習技術領域，方法包括：首次增量模型合并時通過專家模型更新的任務向量以及預訓練模型在校準數據集上的梯度計算專家模型的困惑參數并轉化為參數掩碼矩陣；根據任務向量、梯度和參數掩碼矩陣計算專家模型的參數重要性并采樣生成采樣掩碼矩陣，利用采樣掩碼矩陣對任務向量進行放縮生成增量任務向量；將增量任務向量添加到預訓練模型的參數中生成合并模型的參數；后續增量模型合并時采用與首次同樣的方法將不同的新的專家模型依次合并到前次合并得到的合并模型上。本發明能依次增量疊加地合并不同特定任務的專家模型，避免了參數沖突和任務沖突，提高了模型合并性能。

本發明授權一種面向大語言模型的增量模型合并方法和系統在權利要求書中公布了：1.一種面向大語言模型的增量模型合并方法，其特征在于，包括以下步驟：首先獲取在大規模通用語料上預訓練得到的預訓練模型，基于預訓練模型在針對不同特定任務的不同校準數據集上分別進行微調得到不同的專家模型，包括文本生成任務的專家模型、問答咨詢任務的專家模型、文本分類任務的專家模型、情感分析任務的專家模型；在首次增量模型合并時，通過專家模型在增量模型合并過程中更新的任務向量以及預訓練模型在校準數據集上的梯度計算專家模型的困惑參數，并將困惑參數轉化為參數掩碼矩陣，包括：計算第個專家模型的任務向量，表示為： ，其中，表示預訓練模型的參數，表示第個專家模型的參數；計算預訓練模型在第個專家模型微調所使用的校準數據集上的梯度，表示為： ，其中，表示梯度計算，表示基于損失函數；當梯度的方向與任務向量方向不同時，得到與任務向量相關的參數并作為困惑參數，在第個專家模型的參數掩碼矩陣中采用不同元素值分別表示梯度與任務向量方向相同或不同；根據任務向量、梯度和參數掩碼矩陣計算專家模型的參數重要性，對參數重要性進行采樣生成采樣掩碼矩陣，利用采樣掩碼矩陣對任務向量進行放縮生成增量任務向量；將增量任務向量添加到預訓練模型的參數中生成合并模型的參數，得到合并模型，完成首次增量模型合并；在后續增量模型合并時，每次合并時將前次合并得到的合并模型和新的專家模型分別替換上述的預訓練模型和專家模型，采用與首次增量模型合并同樣的方法將新的專家模型合并到前次合并得到的合并模型上，直至依次完成所有專家模型的增量模型合并，從而避免參數沖突和任務沖突，進一步提高模型合并性能，并有效降低顯存的占用。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州滄海觀止科技有限公司，其通訊地址為：310000 浙江省杭州市西湖區西溪路525號浙大科技園A樓西區621室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。