買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜南京航空航天大學申請的專利面向分布式Transformer訓練的梯度有界丟失容忍的傳輸優化方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119996533B 。

龍圖騰網通過國家知識產權局官網在2025-06-13發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202510449151.3，技術領域涉及：H04L69/164；該發明授權面向分布式Transformer訓練的梯度有界丟失容忍的傳輸優化方法是由張彤;華小祥;單丹楓設計研發完成，并于2025-04-10向國家知識產權局提交的專利申請。

本面向分布式Transformer訓練的梯度有界丟失容忍的傳輸優化方法在說明書摘要公布了：本發明公開了一種面向分布式Transformer訓練的梯度有界丟失容忍的傳輸優化方法。該方法利用UDP協議的低延遲特性，結合Transformer大模型訓練對梯度有界丟失的容忍性，在應用層實現丟包率檢測、重傳機制、擁塞控制和可靠傳輸，并在UDP數據部分中添加自定義頭部。具體地，將梯度張量分塊并編號，通過UDP傳輸，然后計算丟包率，超過閾值則觸發重傳機制；接著聚合已接收數據塊更新模型參數；最后根據ACK接收速率進行擁塞控制，動態調整發送速率。本發明能夠有效減少擁塞和尾部延遲，提高分布式Transformer大模型訓練的效率。

本發明授權面向分布式Transformer訓練的梯度有界丟失容忍的傳輸優化方法在權利要求書中公布了：1.一種面向分布式Transformer訓練的梯度有界丟失容忍的傳輸優化方法，其特征在于，包括以下步驟： S1、將梯度張量劃分為多個數據塊并進行編號，使用UDP協議向參數服務器傳輸數據塊，并在UDP數據包的數據部分添加自定義頭部信息； S2、建立丟包容忍傳輸模塊：傳輸層基于UDP協議進行傳輸，應用層基于ACK機制執行，當參數服務器接收到數據包后向工作節點發送一個ACK消息，所述的ACK攜帶對應數據包的序列號，工作節點在發送數據包后設置定時器以等待ACK回復，如果工作節點在定時器所設置時間內未收到回復，將該數據包指針插入RS重傳表中，為后續的重傳策略做準備； S3、建立收斂檢測和梯度重傳模塊：參數服務器通過接收到來自工作節點的梯度以確定所丟失的數據包，參數服務器計算丟包率，并在丟包率超過丟包容忍閾值時記錄該信息； 當所有工作節點完成梯度傳輸后，參數服務器將記錄所有超過丟包容忍閾值的節點，同時會利用步驟S1中的自定義頭部信息，向工作節點表明發送的數據包類型為請求重傳數據包；當工作節點收到重傳請求消息時，工作節點會檢索其RS重傳表，并檢查是否有數據包被記錄為丟失，如果發現丟失的數據包，工作者通過丟包容忍傳輸模塊將這些數據包重新傳輸給參數服務器； S4、建立動態發送速率控制模塊：工作節點在傳輸梯度數據包的同時，計算收到ACK包的速率，通過對比自己的數據包發送速率和ACK包接收速率來評估當前鏈路擁塞情況，并且基于當前鏈路擁塞情況調整發送速率直到兩者相差超過所設定的閾值，所述的閾值用于評估該工作節點是否處于穩定。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人南京航空航天大學，其通訊地址為：210016 江蘇省南京市秦淮區御道街29號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。