買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜國網江蘇省電力有限公司鎮江供電分公司申請的專利一種數據遷移的方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115576924B 。

龍圖騰網通過國家知識產權局官網在2025-05-13發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202211286629.8，技術領域涉及：G06F16/21；該發明授權一種數據遷移的方法是由劉元瑩;胡航;陳永明;趙罡;王昊煒;夏妍;曹美玲;徐溯;侯超;姚鵬;刁楊華;陳董秀;范洵;王文濤設計研發完成，并于2022-10-20向國家知識產權局提交的專利申請。

本一種數據遷移的方法在說明書摘要公布了：本發明公開了一種數據遷移的方法，采用Spark計算引擎讀取數據并進行存儲，將N個分區中的數據進行重新分區，重新分區后第i個分區中存儲的數據均同時分別對應輸入至第i個緩沖區，每個緩沖區基于阻塞隊列實現。重分區結束后，每個分區都會啟動兩個線程，一個生產者線程、一個消費者線程，生產者線程遍歷每個分區中的每一條數據并將其寫入阻塞隊列中，并根據數據庫資源的的實時使用情況，動態的修改速度的閾值，然后根據閾值控制生產者線程將數據寫入阻塞隊列中的速度，在生產者線程將數據寫入阻塞隊列的同時消費者線程從阻塞隊列中獲取數據并將其寫入至數據庫中，從而完成數據的同步。本發明能夠提高寫入速度，從而提高遷移的速度。

本發明授權一種數據遷移的方法在權利要求書中公布了：1.一種數據遷移的方法，其特征在于，采用Spark計算引擎讀取數據并進行存儲，Spark內部存儲數據的邏輯結構是Rdd，Rdd包括第1至第N個分區；將N個分區中的數據進行重新分區，重新分區后第i個分區中存儲的數據均同時分別對應輸入至第i個緩沖區，每個緩沖區基于阻塞隊列實現，其中i＝1,2，…，N；重新分區結束后，每個分區都啟動兩個線程，一個生產者線程和一個消費者線程，生產者線程遍歷每個分區中的每一條數據并將其寫入阻塞隊列中，并根據數據庫資源的實時使用情況，動態的修改寫入速度的閾值，然后根據閾值控制生產者線程將數據寫入阻塞隊列中的速度，在生產者線程將數據寫入阻塞隊列的同時消費者線程從阻塞隊列中讀取數據并將其寫入至數據庫中，從而完成數據的同步；數據遷移的方法包括以下步驟：步驟1同時遍歷第i個分區中的每條數據并添加到第i個集合Li中，若Li中的數據的條數達到預設的條數，或者雖然Li中的數據的條數未達到預設的條數但是第i個分區中的數據已遍歷結束，則運行步驟2；步驟2消費者線程與生產者線程同時進行，消費者線程實時從阻塞隊列中讀取數據并將其寫入至第i個數據庫中；生產者線程第k次將Li中的數據寫入阻塞隊列后，計算第k次寫入阻塞隊列中數據的大小△Ck；實時計算cp+△Ck，cp為目前阻塞隊列中還未被消費者線程讀取的數據大小，當消費者線程從阻塞隊列中每讀取一條數據時更新cp為cp＝cp-size，size為每次從阻塞隊列中讀取數據的大小；如果cp+△Ckcapacity，capacity是阻塞隊列的容量，生產者線程會阻塞；直到cp+△Ckcapacity，才會將Li中的數據寫入到阻塞隊列中，第k次時累計寫入阻塞隊列的數據的總大小Ck＝△Ck+Ck-1，其中，Ck-1為第k-1次時累計寫入阻塞隊列的數據的總大小；步驟3更新第k次寫入阻塞隊列后的速度閾值speedk，方法如下：獲取第k次生產者線程向阻塞隊列寫完數據的時間tk，計算距離上一次查詢數據庫的IO使用率的時間interval1＝tk-TT，TT為上一次查詢數據庫的IO使用率的時間，TT初始值為生產者線程的啟動的時間；若interval1＝tt,則設置TT＝tk，tt是預設的查詢數據庫的IO使用率時間間隔；獲取數據庫的IO使用率rate，若Y≥rate≥X，則speedk＝speedk-1；若rateY，調整生產者線程向阻塞隊列中寫入數據速度的下降次數N1＝N1+1，生產者線程向阻塞隊列中寫入數據速度的上升次數N2＝0，speedk＝speedk-1-ZN1*speedk-1，Z為[0-1]；若speedkminSpeed，則speedk＝minSpeed；若rateX，調整N2＝N2+1，N1＝0，則speedk＝speedk-1+ZN2*speedk-1，若speedkmaxSpeed，則speedk＝maxSpeed；其中X為IO使用率rate的下限范圍，Y為IO使用率rate的上限范圍，X為[0-40]，Y為[60-100]，minSpeed是預設的生產者線程向阻塞隊列寫入數據的最小速度，maxSpeed是預設的生產者線程向阻塞隊列寫入數據的最大速度；若interval1tt,則speedk＝speedk-1；步驟4進行測速，計算測速時間間隔interval2＝tk-T，判斷如果interval2t，則進入步驟5；否則k＝k+1，進入步驟1；其中，T為上一次測速時間，其初始值為生產者線程啟動的時間，t為預設的測速時間間隔；步驟5計算當前實際的寫入速度speed：speed＝Ck-Cinterval2，若speedspeedk，則進入步驟6，否則進入步驟7；其中，C為上一次測速時累計寫入阻塞隊列的數據的大小；步驟6計算生產者線程的休息時間st，st＝speed*interval2speedk-interval2；如果st大于0，則生產者線程開始休息，停止向阻塞隊列中繼續寫入數據，經過st后生產者線程停止休息，繼續向阻塞隊列中寫入數據，進入步驟7；步驟7設置C＝Ck，T＝tk，k＝k+1，進入步驟1；如果各個分區的數據都被生產者線程寫入到阻塞隊列中，并且阻塞隊列中的數據全部被消費者線程讀取，并寫入到數據庫中，則整個數據遷移任務結束；所述將N個分區中的數據進行重新分區，使用的算法是Hash后取模，將原先1個分區的數據分散到多個分區中去。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人國網江蘇省電力有限公司鎮江供電分公司，其通訊地址為：212001 江蘇省鎮江市電力路182號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。