買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜浙江大學申請的專利一種模型訓練顯存優化方法及裝置獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119205484B 。

龍圖騰網通過國家知識產權局官網在2025-05-16發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411715255.6，技術領域涉及：G06T1/60；該發明授權一種模型訓練顯存優化方法及裝置是由周翀;李石堅;潘綱設計研發完成，并于2024-11-27向國家知識產權局提交的專利申請。

本一種模型訓練顯存優化方法及裝置在說明書摘要公布了：本發明公開了一種模型訓練顯存優化方法及裝置，其中，優化方法包括：基于預設網絡模型，訓練一個輪次，記錄每個張量的輸入時刻、輸出時刻、顯存占用量和計算時間；根據傳輸速度和顯存占用量，計算每個張量從GPU顯存轉移到主內存的轉移時間開銷；根據每個張量的輸入、輸出時刻，得到可隱藏轉移開銷的列表；根據可隱藏轉移開銷的列表，以張量的顯存占用量建立大頂堆，并依次選取堆頂的張量為換入換出備選張量；在隱藏轉移開銷的情況下進行換入換出無法滿足顯存需求時，結合重計算手段進一步減少顯存占用；根據上述顯存優化策略，進行優化處理，使大規模網絡模型在目標設備上進行訓練。本發明可以在有效降低顯存占用的同時，提高模型的訓練速度。

本發明授權一種模型訓練顯存優化方法及裝置在權利要求書中公布了：1.一種模型訓練顯存優化方法，其特征在于，包括：（1）基于預設網絡模型，訓練一個輪次，記錄每個張量的輸入時刻、輸出時刻、顯存占用量和計算時間；（2）根據傳輸速度和顯存占用量，計算每個張量從GPU顯存轉移到主內存的轉移時間開銷；根據每個張量的輸入時刻和輸出時刻，如果張量輸出時刻加上2倍的轉移時間開銷小于該張量的下次訪問時刻，則判斷該張量為可隱藏轉移開銷的張量，以此得到可隱藏轉移開銷的列表，該列表包含張量的id和顯存占用量；（3）根據可隱藏轉移開銷的列表，以張量的顯存占用量建立大頂堆，并依次選取堆頂的張量為換入換出備選張量，得到一個備選為換入換出的列表；具體為：根據優化前網絡所需GPU顯存和當前可用顯存作差得到需要減少的顯存占用量，然后循環遍歷，從堆頂取出元素并標記該張量選為換入換出，遍歷完成后，得到一個備選為換入換出的列表，該列表包含張量id，和顯存占用量；循環遍歷的結束條件為換入換出的張量顯存占用量之和大于等于所需減少的顯存占用量或者堆為空；如果循環結束，換入換出的張量顯存占用量之和大于等于所需減少的顯存占用量，則結束顯存優化過程，進入步驟（5），否則，進入步驟（4），結合重計算手段進一步顯存優化；（4）在隱藏轉移開銷的情況下進行換入換出無法滿足顯存需求時，結合重計算手段進一步減少顯存占用，得到一個備選為重計算的列表；具體為：遍歷計算圖，針對每個算子，判斷其前置算子的輸出張量是否被選中為換入換出，如果被選中，該算子顯存占用減去前置算子通過換入換出減少的顯存占用，再除以算子計算時間，得到一個評估指標值；如果未被選中，直接算子顯存占用除以算子計算時間，得到該值；以此得到對應的列表，該列表包括算子id和評估指標值；根據該評估指標值的大小，建立大頂堆；依次從堆頂取出，并標記為重計算，直到減少后的顯存占用小于等于當前可用顯存；遍歷完成后，得到一個備選為重計算的列表，該列表包含算子id和顯存占用量；（5）根據步驟（3）和（4）的顯存優化策略，進行進一步優化處理，使大規模網絡模型在目標設備上進行訓練；具體為：針對每個張量的id判斷是否在備選列表里，選擇實施相應的策略；被標記為重計算則釋放該顯存，再次訪問該張量時，通過前置的輸出張量計算得到；被標記為換入換出則在得到該張量并計算完成后，轉移到主內存中，根據下次訪問時刻和轉移時間開銷，得到預取的時刻，在預取時刻前重新轉移到GPU顯存中。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人浙江大學，其通訊地址為：310058 浙江省杭州市西湖區余杭塘路866號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。