買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜深圳感臻智能股份有限公司申請的專利一種基于Spark Streaming的實時數據更新及管理方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN113590667B 。

龍圖騰網通過國家知識產權局官網在2025-05-27發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202110600651.4，技術領域涉及：G06F16/2457；該發明授權一種基于Spark Streaming的實時數據更新及管理方法是由仝承建設計研發完成，并于2021-05-31向國家知識產權局提交的專利申請。

本一種基于Spark Streaming的實時數據更新及管理方法在說明書摘要公布了：本發明提出了一種基于SparkStreaming的實時數據更新及管理方法，包括：進行配置資源的參數配置；建立元數據信息庫表；解析Kafka數據的源參數，獲取實時數據更新；讀取元數據信息庫中的元數據信息，包括讀取元數據信息庫中的Kafka數據的描述信息，和，更新元數據信息庫中對應元數據后讀取；修改hive數據信息；讀取Kafka數據，對讀取到的批次的Kafka數據進行分區，按照分區將Kafka數據解析映射為數據庫表。該實時數據存儲及管理方法在新增任務只需要修改元數據信息，新建hive表，SparkStreaming同步元數據信息獲取數據新增和變化，把Kafka數據一一解析對應hive的數據類型，數據寫入hive并同時更新對應數據的offset信息。

本發明授權一種基于Spark Streaming的實時數據更新及管理方法在權利要求書中公布了：1.一種基于SparkStreaming的實時數據更新及管理方法，其特征在于，所述實時數據存儲及管理方法包括：進行配置資源的參數配置；建立元數據信息庫表；解析Kafka數據的源參數，獲取實時數據更新；讀取元數據信息庫中的元數據信息，包括讀取所述元數據信息庫中的所述Kafka數據的描述信息，和，更新所述元數據信息庫中對應元數據后讀取；修改hive數據信息；讀取所述Kafka數據，對讀取到的批次的所述Kafka數據進行分區，按照所述分區將所述Kafka數據解析映射為數據庫表；所述更新所述元數據信息庫中對應元數據后讀取包括：更新所述元數據信息庫，然后讀取對應元數據信息，并作為廣播變量進行廣播；其中，所述廣播變量的更新包括：獲取當前系統執行時間；獲取前次hiveschema更新時間；若所述當前系統時間的分鐘數除以10余數大于1且所述當前系統時間減去所述前次hiveschema更新時間大于10分鐘則執行hiveschema信息更新；獲取當前最新的元數據信息庫中的修改hive數據結構描述信息表中任務相關的sql語句并執行所述sql語句；更新Kafka數據描述信息表中的對應表的字段信息和更新hive表字段描述信息表中的對應表中的字段類型信息；獲取所述Kafka數據描述信息表和所述hive表字段描述信息表中更新后的數據；清除Sparkbroadcast的數據，然后重新對Sparkbroadcast的數據進行賦值；所述按照所述分區將所述Kafka數據解析映射為數據庫表包括：獲取某個所述分區的全部數據；構建一個和hive字段信息一樣長的array數組；將所述分區的數據進行Json解析得到hash類型數據，并按照hive中該字段的位置放入array中對應的位置；將array數據序列化；所述分區的數據生成RDD[Row]；所述分區的數據生成的RDD[Row]和structschema信息構建成Spark的DataFrame數據，隨后寫入hive數據庫中的對應表中。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人深圳感臻智能股份有限公司，其通訊地址為：518000 廣東省深圳市南山區粵海街道科技園社區高新中二道5號生產力大樓D401；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。