ChunJun基于Flink的數(shù)據(jù)集成工具

ChunJun是一個基于 Flink 提供易用、穩(wěn)定、高效的批流統(tǒng)一的數(shù)據(jù)集成工具，既可以采集靜態(tài)的數(shù)據(jù)，比如MySQL，HDFS等，也可以采集實時變化的數(shù)據(jù)，比如binlog，Kafka等。同時ChunJun也是一個支持原生FlinkSql所有語法和特性的計算框架。目前ChunJun在實際應(yīng)用過程中已服務(wù)了上百家客戶，經(jīng)過多次迭代與沉淀，積累了大量的客戶案例。

ChunJun主要應(yīng)用于大數(shù)據(jù)開發(fā)平臺的數(shù)據(jù)同步/數(shù)據(jù)集成模塊，通常采用將底層高效的同步插件和界面化的配置方式相結(jié)合的方式，使大數(shù)據(jù)開發(fā)人員可簡潔、快速的完成數(shù)據(jù)同步任務(wù)開發(fā)，實現(xiàn)將業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)同步至大數(shù)據(jù)存儲平臺，從而進行數(shù)據(jù)建模開發(fā)，以及數(shù)據(jù)開發(fā)完成后，將大數(shù)據(jù)處理好的結(jié)果數(shù)據(jù)同步至業(yè)務(wù)的應(yīng)用數(shù)據(jù)庫，供企業(yè)數(shù)據(jù)業(yè)務(wù)使用。

Chunjun目前包含下面這些特性：

• 大部分插件支持并發(fā)讀寫數(shù)據(jù)，可以大幅度提高讀寫速度；

• 部分插件支持失敗恢復的功能，可以從失敗的位置恢復任務(wù)，節(jié)約運行時間；失敗恢復

• 關(guān)系數(shù)據(jù)庫的Source插件支持間隔輪詢功能，可以持續(xù)不斷的采集變化的數(shù)據(jù)；間隔輪詢

• 部分數(shù)據(jù)庫支持開啟Kerberos安全認證；Kerberos

• 可以限制source的讀取速度，降低對業(yè)務(wù)數(shù)據(jù)庫的影響；

• 可以記錄sink插件寫數(shù)據(jù)時產(chǎn)生的臟數(shù)據(jù)；

• 可以限制臟數(shù)據(jù)的最大數(shù)量；

• 支持多種運行模式；

• 同步任務(wù)支持執(zhí)行flinksql語法的transformer操作；

• sql任務(wù)支持和flinkSql自帶connectors共用；

Chunjun目前支持下面這些數(shù)據(jù)庫：

?