買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜成都梵辰科技有限公司申請的專利一種分布式數據處理方法及其系統獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119377279B 。

龍圖騰網通過國家知識產權局官網在2025-03-25發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411968082.9，技術領域涉及：G06F16/2455；該發明授權一種分布式數據處理方法及其系統是由劉佳;李萬燦;李萬豪;竇軍華;成薇;巫家敏;李萬博;楊瞿瑞設計研發完成，并于2024-12-30向國家知識產權局提交的專利申請。

本一種分布式數據處理方法及其系統在說明書摘要公布了：本發明提供一種分布式數據處理方法及其系統，涉及數據處理技術領域，包括從目標區域中收集待處理初始數據集，對待處理初始數據集進行分布式地預處理，得到第一數據集；通過空間分區樹SPT對目標區域進行動態遞歸劃分，并將第一數據集中的數據點分配至劃分后的各子區域并標記，得到帶有空間分區標識的第二數據集；接收實時數據流，并根據空間坐標將實時數據流動態融入第二數據集中，得到第三數據集；基于空間分區標識定位數據點在空間分區樹SPT中的位置，并將處于同一子區域的第三數據集中數據點分配至同一數據處理節點上；在各個數據處理節點上，并行執行數據處理任務，隨后將得到的初始結果進行聚合，以形成最終結果。

本發明授權一種分布式數據處理方法及其系統在權利要求書中公布了：1.一種分布式數據處理方法，其特征在于，所述處理方法包括以下步驟：從目標區域中收集待處理初始數據集，并利用分布式計算框架Spark對待處理初始數據集進行分布式地預處理，得到第一數據集，其中所述第一數據集包括多個數據點；所述第一數據集的具體獲取過程包括：通過數據采集組件從所述目標區域中收集待處理初始數據集，其中所述待處理初始數據集包含與目標區域相關的多種類型數據；在分布式計算框架Spark的環境下，將待處理初始數據集分割成多個數據塊，并在Spark的多個計算節點上執行預處理操作，以得到預處理后的第一數據集；通過空間分區樹SPT對所述目標區域進行動態遞歸劃分，并將所述第一數據集中的數據點分配至劃分后的各子區域，同時添加空間分區標識，得到帶有空間分區標識的第二數據集；所述第二數據集的具體獲取過程包括：構建空間分區樹SPT，并根據預設的劃分規則通過構建的空間分區樹SPT將所述目標區域細分為細粒度更小的子區域，直到滿足劃分停止條件；遍歷第一數據集中的每個數據點，根據每個數據點的空間坐標將其逐一分配至在空間分區樹SPT中定位的子區域中；在分配時，為每個分配至子區域的數據點添加空間分區標識，其中所述空間分區標識唯一且明確地表示數據點所屬的子區域，并與空間分區樹SPT中的葉子節點建立關聯，以得到帶有空間分區標識的第二數據集；接收實時數據流，并根據空間坐標將所述實時數據流動態融入所述第二數據集中，得到第三數據集；所述第三數據集的具體獲取過程包括：實時捕獲與目標區域相關的實時數據流，其中所述實時數據流包含動態變化的空間坐標；對捕獲的實時數據流進行預處理，以確保所述實時數據流與第二數據集中的數據格式一致且空間坐標準確；根據預處理后的實時數據流中每個數據點的空間坐標，在空間分區樹SPT中定位其所屬的子區域；將定位后的實時數據流的每個數據點動態地插入到所述第二數據集中對應子區域的數據點集合中，同時更新空間分區樹SPT中關聯葉子節點的數據記錄，以得到融合實時數據流的第三數據集；基于所述空間分區標識定位數據點在空間分區樹SPT中的位置，并根據定位的位置將處于同一子區域的所述第三數據集中數據點分配至同一數據處理節點上；分配過程具體包括：遍歷第三數據集中的每個數據點，讀取其附帶的空間分區標識；利用讀取的空間分區標識，在空間分區樹SPT中定位數據點所屬的子區域，并確定處于同一子區域的數據點集合；依據預構建的數據分配映射表，將處于同一子區域的數據點集合整體分配至對應的數據處理節點上，以確保同一子區域內的數據點在同一節點上進行處理，其中所述數據分配映射表記錄每個子區域與對應數據處理節點的映射關系；在各個數據處理節點上，通過分布式計算框架Spark并行執行數據處理任務，隨后將得到的初始結果進行聚合，以形成最終結果；最終結果的的形成過程具體包括：在每個分配有數據點的數據處理節點上，啟動分布式計算框架Spark的執行環境；根據數據處理任務的需求，編寫并部署相應的Spark作業，其中每個Spark作業被設計為能夠處理分配給該節點的數據點集合；并行執行多個Spark作業，并在每個Spark作業完成后，收集輸出的初始結果；通過Spark的聚合機制將來自不同數據處理節點的初始結果進行合并和整合，以形成全局一致的最終結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人成都梵辰科技有限公司，其通訊地址為：610000 四川省成都市高新區天府四街66號2棟18層6號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。