買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費(fèi)！專利年費(fèi)監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜北京理房通支付科技有限公司申請的專利一種基于Spark框架的數(shù)據(jù)表同步方法、同步裝置和存儲介質(zhì)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114020843B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-04-15發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202111299817.X，技術(shù)領(lǐng)域涉及：G06F16/27；該發(fā)明授權(quán)一種基于Spark框架的數(shù)據(jù)表同步方法、同步裝置和存儲介質(zhì)是由王雨松設(shè)計(jì)研發(fā)完成，并于2021-11-04向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種基于Spark框架的數(shù)據(jù)表同步方法、同步裝置和存儲介質(zhì)在說明書摘要公布了：本申請公開了基于Spark框架的數(shù)據(jù)表同步方法、同步裝置和存儲介質(zhì)?；诒旧暾?，基于Spark框架獲取待處理數(shù)據(jù)表中的元數(shù)據(jù)的數(shù)量，為各元數(shù)據(jù)對應(yīng)生成自增字段，形成自增字段表；以及，基于各數(shù)據(jù)分區(qū)的數(shù)據(jù)處理能力和需要處理的元數(shù)據(jù)的平均長度，計(jì)算數(shù)據(jù)分區(qū)的平均可處理數(shù)據(jù)量。進(jìn)一步地，基于平均可處理數(shù)據(jù)量對自增字段表進(jìn)行劃分，以完成對待處理數(shù)據(jù)表中的各元數(shù)據(jù)對應(yīng)數(shù)據(jù)分區(qū)的劃分，使得各數(shù)據(jù)分區(qū)中的數(shù)據(jù)均勻，提升數(shù)據(jù)處理效率。

本發(fā)明授權(quán)一種基于Spark框架的數(shù)據(jù)表同步方法、同步裝置和存儲介質(zhì)在權(quán)利要求書中公布了：1.一種基于Spark框架的數(shù)據(jù)表同步方法，其特征在于，包括：基于Spark框架獲取待處理數(shù)據(jù)表中的至少一條元數(shù)據(jù)的主鍵，并基于獲取的主鍵數(shù)量生成與該待處理數(shù)據(jù)表中至少一個(gè)主鍵對應(yīng)的自增字段的自增字段表；基于各數(shù)據(jù)分區(qū)的數(shù)據(jù)處理能力和該待處理數(shù)據(jù)表中每條元數(shù)據(jù)的平均長度，計(jì)算數(shù)據(jù)分區(qū)的平均可處理數(shù)據(jù)量；根據(jù)自增字段表和平均可處理數(shù)據(jù)量對自增字段表進(jìn)行劃分，并基于劃分后的至少一個(gè)子自增字段表中包含的自增字段對應(yīng)劃分至少一個(gè)主鍵所在的數(shù)據(jù)分區(qū)，將劃分后主鍵對應(yīng)在待處理數(shù)據(jù)表中的各元數(shù)據(jù)同步至對應(yīng)的數(shù)據(jù)分區(qū)；其中，基于劃分后的至少一個(gè)子自增字段表中包含的自增字段對應(yīng)劃分至少一個(gè)主鍵所在的數(shù)據(jù)分區(qū)，將劃分后主鍵對應(yīng)在待處理數(shù)據(jù)表中的各元數(shù)據(jù)同步至對應(yīng)的數(shù)據(jù)分區(qū)，包括：為每個(gè)子自增字段表匹配對應(yīng)的數(shù)據(jù)分區(qū)，并將與各子自增字段中的自增字段對應(yīng)的主鍵劃分至對應(yīng)的數(shù)據(jù)分區(qū)；基于各數(shù)據(jù)分區(qū)對應(yīng)的主鍵，并發(fā)拉取與主鍵對應(yīng)的待處理數(shù)據(jù)表中的元數(shù)據(jù)，并將元數(shù)據(jù)同步至對應(yīng)的數(shù)據(jù)分區(qū)。

如需購買、轉(zhuǎn)讓、實(shí)施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人北京理房通支付科技有限公司，其通訊地址為：100085 北京市海淀區(qū)上地八街7號院4號樓三層301A；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。