買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜武漢物易云通網(wǎng)絡(luò)科技有限公司申請的專利一種實時數(shù)據(jù)全量獲取方法、裝置及計算機設(shè)備獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN114579614B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-13發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202210128596.8，技術(shù)領(lǐng)域涉及：G06F16/2455；該發(fā)明授權(quán)一種實時數(shù)據(jù)全量獲取方法、裝置及計算機設(shè)備是由王祖正;汪健;吳凡設(shè)計研發(fā)完成，并于2022-02-11向國家知識產(chǎn)權(quán)局提交的專利申請。

本一種實時數(shù)據(jù)全量獲取方法、裝置及計算機設(shè)備在說明書摘要公布了：本發(fā)明提供一種實時數(shù)據(jù)全量獲取方法、裝置及計算機設(shè)備。方法包括：利用flinkcdc組件監(jiān)聽并采集mysql數(shù)據(jù)庫的binlog數(shù)據(jù)；對采集的binlog數(shù)據(jù)分配全局排序id，在寫入kafka系統(tǒng)時，按表的主鍵作為分區(qū)策略，主鍵值采用hash分區(qū)，使相同表數(shù)據(jù)的相同主鍵數(shù)據(jù)在同一個分區(qū)；創(chuàng)建doris大寬表，其中除主鍵以外的其它字段均采用REPLACE_IF_NOT_NULL代替；創(chuàng)建多個flink流任務(wù)，將kafka系統(tǒng)中多個dwd層或者dws層數(shù)據(jù)通過streamload方式寫入至doris大寬表，使doris大寬表中相同主鍵的數(shù)據(jù)被覆蓋更新；根據(jù)實際需求查詢doris大寬表獲取全量數(shù)據(jù)。本發(fā)明提供的有益效果是：主要解決了mysql跨庫分析的問題,且成本低。

本發(fā)明授權(quán)一種實時數(shù)據(jù)全量獲取方法、裝置及計算機設(shè)備在權(quán)利要求書中公布了：1.一種實時數(shù)據(jù)全量獲取方法，其特征在于：包括以下步驟：S101：接入實時二進(jìn)制日志binlog數(shù)據(jù)：利用flinkcdc組件監(jiān)聽并采集mysql數(shù)據(jù)庫的binlog數(shù)據(jù)；S102：寫入binlog數(shù)據(jù)至kafka系統(tǒng)：對采集的binlog數(shù)據(jù)分配全局排序id，在寫入kafka系統(tǒng)時，按表的主鍵作為分區(qū)策略，主鍵值采用hash分區(qū)，使相同表數(shù)據(jù)的相同主鍵數(shù)據(jù)在同一個分區(qū)；S103：創(chuàng)建doris大寬表：創(chuàng)建doris大寬表，其中除主鍵以外的其它字段均采用REPLACE_IF_NOT_NULL代替；S104：寫數(shù)據(jù)至doris大寬表：創(chuàng)建多個flink流任務(wù)，將kafka系統(tǒng)中多個dwd層或者dws層數(shù)據(jù)通過streamload方式寫入至doris大寬表，使doris大寬表中相同主鍵的數(shù)據(jù)被覆蓋更新；S105：獲取全量數(shù)據(jù)：根據(jù)實際需求查詢doris大寬表獲取全量數(shù)據(jù)。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人武漢物易云通網(wǎng)絡(luò)科技有限公司，其通訊地址為：430000 湖北省武漢市東湖新技術(shù)開發(fā)區(qū)光谷大道77號金融后臺服務(wù)中心一期A3棟12層；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。