買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網恭喜成都梵辰科技有限公司申請的專利一種分布式數據處理方法及其系統(tǒng)獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產權局授予，授權公告號為：CN119377279B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202411968082.9，技術領域涉及：G06F16/2455；該發(fā)明授權一種分布式數據處理方法及其系統(tǒng)是由劉佳;李萬燦;李萬豪;竇軍華;成薇;巫家敏;李萬博;楊瞿瑞設計研發(fā)完成，并于2024-12-30向國家知識產權局提交的專利申請。

本一種分布式數據處理方法及其系統(tǒng)在說明書摘要公布了：本發(fā)明提供一種分布式數據處理方法及其系統(tǒng)，涉及數據處理技術領域，包括從目標區(qū)域中收集待處理初始數據集，對待處理初始數據集進行分布式地預處理，得到第一數據集；通過空間分區(qū)樹SPT對目標區(qū)域進行動態(tài)遞歸劃分，并將第一數據集中的數據點分配至劃分后的各子區(qū)域并標記，得到帶有空間分區(qū)標識的第二數據集；接收實時數據流，并根據空間坐標將實時數據流動態(tài)融入第二數據集中，得到第三數據集；基于空間分區(qū)標識定位數據點在空間分區(qū)樹SPT中的位置，并將處于同一子區(qū)域的第三數據集中數據點分配至同一數據處理節(jié)點上；在各個數據處理節(jié)點上，并行執(zhí)行數據處理任務，隨后將得到的初始結果進行聚合，以形成最終結果。

本發(fā)明授權一種分布式數據處理方法及其系統(tǒng)在權利要求書中公布了：1.一種分布式數據處理方法，其特征在于，所述處理方法包括以下步驟：從目標區(qū)域中收集待處理初始數據集，并利用分布式計算框架Spark對待處理初始數據集進行分布式地預處理，得到第一數據集，其中所述第一數據集包括多個數據點；所述第一數據集的具體獲取過程包括：通過數據采集組件從所述目標區(qū)域中收集待處理初始數據集，其中所述待處理初始數據集包含與目標區(qū)域相關的多種類型數據；在分布式計算框架Spark的環(huán)境下，將待處理初始數據集分割成多個數據塊，并在Spark的多個計算節(jié)點上執(zhí)行預處理操作，以得到預處理后的第一數據集；通過空間分區(qū)樹SPT對所述目標區(qū)域進行動態(tài)遞歸劃分，并將所述第一數據集中的數據點分配至劃分后的各子區(qū)域，同時添加空間分區(qū)標識，得到帶有空間分區(qū)標識的第二數據集；所述第二數據集的具體獲取過程包括：構建空間分區(qū)樹SPT，并根據預設的劃分規(guī)則通過構建的空間分區(qū)樹SPT將所述目標區(qū)域細分為細粒度更小的子區(qū)域，直到滿足劃分停止條件；遍歷第一數據集中的每個數據點，根據每個數據點的空間坐標將其逐一分配至在空間分區(qū)樹SPT中定位的子區(qū)域中；在分配時，為每個分配至子區(qū)域的數據點添加空間分區(qū)標識，其中所述空間分區(qū)標識唯一且明確地表示數據點所屬的子區(qū)域，并與空間分區(qū)樹SPT中的葉子節(jié)點建立關聯(lián)，以得到帶有空間分區(qū)標識的第二數據集；接收實時數據流，并根據空間坐標將所述實時數據流動態(tài)融入所述第二數據集中，得到第三數據集；所述第三數據集的具體獲取過程包括：實時捕獲與目標區(qū)域相關的實時數據流，其中所述實時數據流包含動態(tài)變化的空間坐標；對捕獲的實時數據流進行預處理，以確保所述實時數據流與第二數據集中的數據格式一致且空間坐標準確；根據預處理后的實時數據流中每個數據點的空間坐標，在空間分區(qū)樹SPT中定位其所屬的子區(qū)域；將定位后的實時數據流的每個數據點動態(tài)地插入到所述第二數據集中對應子區(qū)域的數據點集合中，同時更新空間分區(qū)樹SPT中關聯(lián)葉子節(jié)點的數據記錄，以得到融合實時數據流的第三數據集；基于所述空間分區(qū)標識定位數據點在空間分區(qū)樹SPT中的位置，并根據定位的位置將處于同一子區(qū)域的所述第三數據集中數據點分配至同一數據處理節(jié)點上；分配過程具體包括：遍歷第三數據集中的每個數據點，讀取其附帶的空間分區(qū)標識；利用讀取的空間分區(qū)標識，在空間分區(qū)樹SPT中定位數據點所屬的子區(qū)域，并確定處于同一子區(qū)域的數據點集合；依據預構建的數據分配映射表，將處于同一子區(qū)域的數據點集合整體分配至對應的數據處理節(jié)點上，以確保同一子區(qū)域內的數據點在同一節(jié)點上進行處理，其中所述數據分配映射表記錄每個子區(qū)域與對應數據處理節(jié)點的映射關系；在各個數據處理節(jié)點上，通過分布式計算框架Spark并行執(zhí)行數據處理任務，隨后將得到的初始結果進行聚合，以形成最終結果；最終結果的的形成過程具體包括：在每個分配有數據點的數據處理節(jié)點上，啟動分布式計算框架Spark的執(zhí)行環(huán)境；根據數據處理任務的需求，編寫并部署相應的Spark作業(yè)，其中每個Spark作業(yè)被設計為能夠處理分配給該節(jié)點的數據點集合；并行執(zhí)行多個Spark作業(yè)，并在每個Spark作業(yè)完成后，收集輸出的初始結果；通過Spark的聚合機制將來自不同數據處理節(jié)點的初始結果進行合并和整合，以形成全局一致的最終結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人成都梵辰科技有限公司，其通訊地址為：610000 四川省成都市高新區(qū)天府四街66號2棟18層6號；或者聯(lián)系龍圖騰網官方客服，聯(lián)系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。