買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜浙江大學申請的專利一種加速大模型訓練的異步多向流水線并行方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119250147B 。

龍圖騰網通過國家知識產權局官網在2025-04-04發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411764376.X，技術領域涉及：G06N3/08；該發明授權一種加速大模型訓練的異步多向流水線并行方法是由陳嶺;余文杰設計研發完成，并于2024-12-04向國家知識產權局提交的專利申請。

本一種加速大模型訓練的異步多向流水線并行方法在說明書摘要公布了：本發明公開了一種加速大模型訓練的異步多向流水線并行方法，包括：創建多個流水線并行組，組間設備排序不同；將待訓練大模型切分的模型切片按順序分配給每組中各個設備，每組均包含完整的待訓練大模型；選取任一組作為優化器注冊并行組并為其中各個設備的模型切片注冊優化器；按照異步多向流水線調度方式對待訓練大模型進行訓練，每個設備將其中同一模型切片在各個微數據批上的梯度進行累加，當累積的微數據批構成一個數據批時立即或在流水線空泡位置進入下一步驟；各個設備將累加的梯度聚合到優化器注冊并行組的設備上并利用聚合梯度進行參數更新。本發明方法能在保證高吞吐的同時兼顧訓練的收斂性，在不增加額外通信開銷的前提下減少存儲開銷。

本發明授權一種加速大模型訓練的異步多向流水線并行方法在權利要求書中公布了：1.一種加速大模型訓練的異步多向流水線并行方法，其特征在于，包括以下步驟：創建多個流水線并行組，每個組均包含服務器中的所有設備，組間設備排序不同，組的數量與設定的流水線方向數相同；將待訓練大模型進行層間均勻切分得到模型切片，將模型切片按順序分配給每組中的各個設備，使每個組均包含完整的待訓練大模型；選取任一組作為優化器注冊并行組，為優化器注冊并行組中的各個設備分得的模型切片注冊優化器；按照異步多向流水線調度方式對待訓練大模型進行訓練，每個設備將其中同一模型切片在各個微數據批上的梯度進行累加，當累積的微數據批能構成一個數據批時，若流水線中沒有流水線空泡則立刻進入下一步驟，否則在下個出現流水線空泡的位置進入下一步驟；各個設備將累加的模型切片在一個數據批上的梯度聚合到優化器注冊并行組的設備上并利用聚合后的梯度進行參數更新。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江大學，其通訊地址為：310058 浙江省杭州市西湖區余杭塘路866號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。