買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜中國人民解放軍國防科技大學申請的專利一種面向異構計算集群的分布式并行訓練方法及系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119271415B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411794971.8，技術領域涉及：G06F9/50；該發明授權一種面向異構計算集群的分布式并行訓練方法及系統是由賴志權;李東升;盧凱;柳煒杰;張釗寧;李榮春設計研發完成，并于2024-12-09向國家知識產權局提交的專利申請。

本一種面向異構計算集群的分布式并行訓練方法及系統在說明書摘要公布了：本發明提供的面向異構計算集群的分布式并行訓練方法，是通過獲取各個流水級上的N個計算設備的通信開銷，結合各個流水級的計算參數，確定N個計算設備的網絡拓撲；通過預訓練后的神經網絡模型、網絡拓撲和預設算法，獲取模型劃分方式；根據模型劃分方式，在N個不同種類計算設備之間使用流水線并行的方式，并在M個虛擬機器之間使用數據并行的方式迭代訓練神經網絡模型。相比于現有技術，本發明結合N個不同種類計算設備的網絡拓撲和模型劃分方式，平衡各個流水級的計算時間，能在異構計算集群環境下提高混合并行方法的效率。

本發明授權一種面向異構計算集群的分布式并行訓練方法及系統在權利要求書中公布了：1.一種面向異構計算集群的分布式并行訓練方法，其特征在于，包括如下步驟：根據每個虛擬機器內的N個不同種類計算設備的計算能力，設定M個虛擬機器中各個流水級的第一參數，獲取各個流水級上的N個不同種類計算設備的通信開銷；根據所述M個虛擬機器中各個流水級的第一參數與所述各個流水級上的N個不同種類計算設備的通信開銷，確定所述每個虛擬機器內的N個不同種類計算設備的網絡拓撲；根據預訓練后的神經網絡模型、所述每個虛擬機器內的N個不同種類計算設備的網絡拓撲和預設算法，獲取模型劃分方式；根據所述模型劃分方式，在N個不同種類計算設備之間使用流水線并行的方式，并在M個虛擬機器之間使用數據并行的方式迭代訓練所述神經網絡模型；其中，每個虛擬機器上包含不同種類計算設備各一個，多個所述虛擬機器構成了異構計算集群；所述根據每個虛擬機器內的N個不同種類計算設備的計算能力，設定M個虛擬機器中各個流水級的第一參數，獲取各個流水級上的N個不同種類計算設備的通信開銷，包括如下步驟：獲取每個虛擬機器內的N個不同種類計算設備的計算能力；設定M個虛擬機器中各個流水級的計算時間相同，以使得各個流水級上的所述N個不同種類計算設備的神經網絡模型大小與所述N個不同種類計算設備的計算能力成正比關系；設定不同虛擬機器上相同的流水級之間通信同步，以使得各個流水級上的所述N個不同種類計算設備的通信開銷與所述N個不同種類計算設備的神經網絡模型大小成正比關系；根據所述N個不同種類計算設備的計算能力與上述正比關系，獲取各個流水級上的N個不同種類計算設備的通信開銷；所述根據所述M個虛擬機器中各個流水級的第一參數與所述各個流水級上的N個不同種類計算設備的通信開銷，確定所述每個虛擬機器內的N個不同種類計算設備的網絡拓撲，包括如下步驟：計算獲取所述M個虛擬機器中各個流水級的第一參數與所述各個流水級上的N個不同種類計算設備的通信開銷之間的通信比值；按所述通信比值從大到小，依次分別為各個流水級上的N個不同種類計算設備設定第一流水級至第N流水級，作為每個虛擬機器內的N個不同種類計算設備的網絡拓撲。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人中國人民解放軍國防科技大學，其通訊地址為：410073 湖南省長沙市開福區德雅路109號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。