恭喜無錫江南計算技術研究所肖謙獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜無錫江南計算技術研究所申請的專利面向異構眾核處理器的AI框架兩級并行加速方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN114661460B 。
龍圖騰網通過國家知識產權局官網在2025-05-20發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202210136541.1,技術領域涉及:G06F9/50;該發明授權面向異構眾核處理器的AI框架兩級并行加速方法是由肖謙;王飛;沈莉;趙美佳;周文浩;武文浩設計研發完成,并于2022-02-15向國家知識產權局提交的專利申請。
本面向異構眾核處理器的AI框架兩級并行加速方法在說明書摘要公布了:本發明公開一種面向異構眾核處理器的AI框架兩級并行加速方法,包括以下步驟:AI框架調用模型優化模塊優化深度學習模型或者預訓練好的模型,將其組織成更具可并行性的樹形計算圖;AI框架將優化后的樹形計算圖轉換成由計算任務組成的線程池;線程管理模塊根據相關性將線程池組織成不同的線程隊列;線程管理模塊監測各個核組的狀態,如果發現某個核組處于空閑狀態,則將某隊列的計算任務調度到該核組上執行;當整個運行任務完成后,線程管理模塊和核組管理模塊均中止運行,等到下一次運行任務開始后。本發明可以充分利用異構眾核的多級存儲資源和計算能力,實現自動化的AI框架兩級并行加速,顯著提升AI框架在異構眾核上的好用性和高性能。
本發明授權面向異構眾核處理器的AI框架兩級并行加速方法在權利要求書中公布了:1.一種面向異構眾核處理器的AI框架兩級并行加速方法,其特征在于,基于以下功能模塊:模型優化模塊:用于對模型做適當的分裂,將一些串行的計算圖轉換為樹狀計算圖;線程管理模塊:用于管理AI框架的線程池,并將各個線程調度到空閑的核組上去;核組管理模塊:用于將計算任務并行分配到各個從核上執行,并在檢測到所有從核都完成計算之后,向線程管理模塊報告計算任務完成,且將自身置于空閑狀態;所述加速方法包括以下步驟:步驟1、AI框架調用模型優化模塊優化深度學習模型或者預訓練好的模型,將其組織成更具可并行性的樹形計算圖;步驟2、AI框架將步驟1中優化后的樹形計算圖轉換成由計算任務組成的線程池;步驟3、線程管理模塊根據相關性將步驟2中獲得的線程池組織成不同的線程隊列,不同隊列間的計算任務不具相關性,可以并行執行,同一隊列內部的計算任務則必須按任務執行;步驟4、線程管理模塊監測各個核組的狀態,如果發現某個核組處于空閑狀態,則將某隊列的計算任務調度到該核組上執行,并且保障同時運行于各個核組上的計算任務分屬于不同的計算隊列;當某個核組完成計算任務并處于空閑狀態時,線程管理模塊繼續分配計算任務到該核組,直到所有隊列的計算任務都全部完成;當某個核組接收到計算任務時,核組管理模塊將計算任務并行分配到各個從核上執行,并監測各從核的運行狀態,等到所有從核都完成計算任務并處于空閑狀態后,核組管理模塊向線程管理模塊報告任務完成,并等待下一個計算任務的分配;步驟5、當整個運行任務完成后,線程管理模塊和核組管理模塊均中止運行,等到下一次運行任務開始后,線程管理模塊和核組管理模塊均進入監測狀態,等候線程任務和核組計算任務的分配。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人無錫江南計算技術研究所,其通訊地址為:214038 江蘇省無錫市濱湖區山水東路699號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。