恭喜廣東工業大學邵長城獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜廣東工業大學申請的專利一種用于分布式深度學習的增量迭代方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN115509512B 。
龍圖騰網通過國家知識產權局官網在2025-05-06發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202211210718.4,技術領域涉及:G06F8/35;該發明授權一種用于分布式深度學習的增量迭代方法是由邵長城設計研發完成,并于2022-09-30向國家知識產權局提交的專利申請。
本一種用于分布式深度學習的增量迭代方法在說明書摘要公布了:本發明涉及到數據處理領域,提出了一種用于分布式深度學習的增量迭代方法,步驟包括:步驟1:構造DAG;步驟2:過濾RDD數據集;步驟3:將過濾后的RDD數據集轉換為GPU可以處理的數據類型,存入GPU全局顯存中;步驟4進行迭代計算;步驟5:進行增量迭代計算。在本發明中,打破了傳統數據處理方法不能有效利用異構多樣的內存,以及對增量數據的數據處理效率慢的問題,提出一種用于分布式深度學習的增量迭代方法,有效利用GPU中的多級存儲結構進行增量迭代學習,提升了深度學習數據處理效率。
本發明授權一種用于分布式深度學習的增量迭代方法在權利要求書中公布了:1.一種用于分布式深度學習的增量迭代方法,其特征在于,包括以下步驟:S1、構造DAG;S1.1、輸入樣本數據,遍歷所有RDD函數操作,獲取所有輸入RDD、依賴關系、輸出RDD構成的三元組t:t=Rh⊕r⊕Rt其中Rh是輸入RDDID,r是依賴關系,Rt是輸出RDDID;同時,將無法構成三元組關系的RDD丟棄;S1.2、讀取所有三元組t,構建DAG;S2、過濾RDD數據集;S2.1、判斷當前內存的存儲量是否達到閾值,如達到,則繼續一下步驟;S2.2、計算RDD權重;該過程的公式定義如下: ;其中,w表示RDD分區的權重值,表示該RDD的計算代價,表示該RDD的使用次數,表示該分區的大小,表示該RDD的生命周期,表示計算該RDD輸入RDD的位置;是常數,分別是的權重值,權重值的選取由用戶的具體任務Task需求決定;S3、將過濾后的RDD數據集轉換為GPU處理的數據類型,存入GPU全局顯存中;S4、進行迭代計算;S4.1、在全局顯存中為每個線程塊分配一個自己的數據集放在共享內存中;S4.2、線程塊中的每個線程依次讀取全局顯存中的待計算數據,并進行迭代計算;S4.3、以步驟S4.2迭代計算后的數據集對共享內存中存儲的數據集進行更新;S4.4、當共享內存達到一定閾值時,將每次迭代中本地訪問頻率低的數據轉存至全局顯存中;S5、進行增量迭代計算;S5.1、當數據集發生增量變化時,即由于流數據動態變化而產生新的迭代數據時,共享內存從全局顯存中讀取增量數據;S5.2、進行增量迭代計算,得到增量迭代計算后的數據集;其中,增量迭代為根據增量數據和原始迭代結果獲得新的迭代結果的迭代方法,所述增量數據為由于業務增長而產生的新的迭代數據;S5.3、以上述步驟S5.2增量迭代計算后的數據集對共享內存中的數據集進行更新;其中,將判斷為收斂的數據存在全局內存中,后續迭代繼續用,不進行更新,以達到增量控制的目的;S5.4、當共享內存到達一定閾值后,將不被頻繁訪問的數據移到全局顯存。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人廣東工業大學,其通訊地址為:510000 廣東省廣州市東風東路72號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。