Hi，我是 ChunJun，一個(gè)有趣好用的開源項(xiàng)目。

今天我們正式開通了自己的公眾號！歡迎大家關(guān)注～

數(shù)字經(jīng)濟(jì)時(shí)代，各行各業(yè)數(shù)字化轉(zhuǎn)型大趨勢下，數(shù)據(jù)要素成為關(guān)鍵。海量多源異構(gòu)數(shù)據(jù)匯聚，使得數(shù)據(jù)同步面臨同步速率受限、穩(wěn)定性差、維護(hù)成本高等挑戰(zhàn)。

批流一體的數(shù)據(jù)集成框架 ChunJun，沉淀了團(tuán)隊(duì)六年來在數(shù)據(jù)同步和集成方面的實(shí)踐經(jīng)驗(yàn)，秉承易用、穩(wěn)定、高效的目標(biāo)，滿足更多用戶對新型數(shù)據(jù)集成管理需求的響應(yīng)。

ChunJun 是什么

ChunJun 是易用、穩(wěn)定、高效的批流一體的數(shù)據(jù)集成框架。

主要應(yīng)用于大數(shù)據(jù)開發(fā)平臺的數(shù)據(jù)同步 / 數(shù)據(jù)集成模塊，通常采用將底層高效的同步插件和界面化的配置方式相結(jié)合的方式，使大數(shù)據(jù)開發(fā)人員可簡潔、快速的完成數(shù)據(jù)同步任務(wù)開發(fā)，實(shí)現(xiàn)將業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)同步至大數(shù)據(jù)存儲平臺，從而進(jìn)行數(shù)據(jù)建模開發(fā)，以及數(shù)據(jù)開發(fā)完成后，將大數(shù)據(jù)處理好的結(jié)果，數(shù)據(jù)同步至業(yè)務(wù)的應(yīng)用數(shù)據(jù)庫，供企業(yè)數(shù)據(jù)業(yè)務(wù)使用。

核心特性

?基于 json、sql 構(gòu)建任務(wù)

?支持多種異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)傳輸

?支持?jǐn)帱c(diǎn)續(xù)傳、增量同步

?支持任務(wù)臟數(shù)據(jù)存儲管理

?支持 Schema 同步

?支持 RDBS 數(shù)據(jù)源實(shí)時(shí)采集

開源地址

https://github.com/DTStack/chunjun

https://gitee.com/dtstack_dev_0/chunjun

ChunJun 的故事

項(xiàng)目最早啟動的初衷是為袋鼠云的核心業(yè)務(wù)一站式大數(shù)據(jù)開發(fā)治理平臺 - 數(shù)棧 DTinsight，打造一款具有 “袋鼠特色 “的核心計(jì)算引擎，承載實(shí)時(shí)平臺、離線平臺、數(shù)據(jù)資產(chǎn)平臺等多個(gè)應(yīng)用的底層數(shù)據(jù)同步及計(jì)算任務(wù)。

2016 年，數(shù)棧技術(shù)團(tuán)隊(duì)初步研發(fā)完成了這款基于 Flink 的分布式離線 / 實(shí)時(shí)數(shù)據(jù)同步插件 ——FlinkX，它可以實(shí)現(xiàn)多種異構(gòu)數(shù)據(jù)源高效的數(shù)據(jù)同步，支持雙向讀寫和多種異構(gòu)數(shù)據(jù)源。有它助力，袋鼠云在批流一體的研究實(shí)踐以更迅猛的勢頭往前挺進(jìn)。

此后，F(xiàn)linkX 在業(yè)務(wù)場景中投入實(shí)際應(yīng)用，得到了超過預(yù)期的效果，團(tuán)隊(duì)持續(xù)投入研發(fā)力量，在臟數(shù)據(jù)、分布式、整庫同步、連接數(shù)控制等方面逐漸完善。成為支持?jǐn)?shù)棧實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源之間高速穩(wěn)定數(shù)據(jù)同步的核心計(jì)算引擎。

2018 年 4 月，秉承著開源共享理念的數(shù)棧技術(shù)團(tuán)隊(duì)在 github 上開源了 FlinkX，吸引了大量的開發(fā)者們一起技術(shù)交流和合作共建，F(xiàn)linkX 得到了更好的發(fā)展。

2022 年 4 月，在 FlinkX 進(jìn)行初版開源的整整四年后，F(xiàn)linkX 已經(jīng)從當(dāng)初的一個(gè)小項(xiàng)目，成長為擁有 3200+star，1400+fork 的開源項(xiàng)目。技術(shù)團(tuán)隊(duì)決定對 FlinkX 進(jìn)行整體升級，并更名為 ChunJun，希望為大家真正提供一個(gè)穩(wěn)定、高效、易用的批流一體的數(shù)據(jù)集成框架。

ChunJun 的技術(shù)

ChunJun 既可以采集靜態(tài)的數(shù)據(jù)，比如 MySQL，HDFS 等，也可以采集實(shí)時(shí)變化的數(shù)據(jù)，比如 binlog，Kafka 等。同時(shí) ChunJun 也是一個(gè)支持原生 FlinkSql 所有語法和特性的計(jì)算框架。

主要架構(gòu)

ChunJun 基于 Flink 并采用插件式架構(gòu)，將源數(shù)據(jù)庫抽象成 Reader 插件，將目的數(shù)據(jù)庫抽象成 Writer 插件。

核心能力

● 多源異構(gòu)數(shù)據(jù)匯聚

作為一個(gè)開放式系統(tǒng)，用戶可以根據(jù)需要，開發(fā)新的插件，接入新的數(shù)據(jù)庫類型，也可以使用內(nèi)置的數(shù)據(jù)庫插件。目前兼容 30 + 異構(gòu)數(shù)據(jù)源的數(shù)據(jù)讀寫與 SQL 計(jì)算。

● 斷點(diǎn)續(xù)傳

針對網(wǎng)絡(luò)波動等異常情況，導(dǎo)致數(shù)據(jù)同步失敗的任務(wù)，在下一次任務(wù)時(shí)自動從上一次失敗的數(shù)據(jù)點(diǎn)進(jìn)行數(shù)據(jù)同步，避免全部重跑。

● 數(shù)據(jù)還原

除了 DML 操作以外，一些源端數(shù)據(jù)庫的 DDL 操作也能做到同步，最大程度保證源端數(shù)據(jù)庫和目標(biāo)端數(shù)據(jù)庫的數(shù)據(jù)統(tǒng)一和結(jié)構(gòu)統(tǒng)一，做到數(shù)據(jù)還原。

● 臟數(shù)據(jù)管理

數(shù)據(jù)傳輸過程中，因數(shù)據(jù)質(zhì)量或主鍵約束等其他因素導(dǎo)致數(shù)據(jù)無法同步到目標(biāo)數(shù)據(jù)庫，針對這些臟數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和管理，便于后續(xù)進(jìn)行臟數(shù)據(jù)分析。

● 速率控制

數(shù)據(jù)同步過程中，數(shù)據(jù)傳輸效率是關(guān)鍵，ChunJun 針對各種場景，有的放矢地控制速率，最大程度保證數(shù)據(jù)同步的正常進(jìn)行。

ChunJun 的優(yōu)勢

簡單易用

● 實(shí)現(xiàn) “開箱即用”

支持 Docker 一鍵部署，支持多種任務(wù)運(yùn)行模式。

• 本地 local 模式，適用于調(diào)研、測試階段使用；

• Flink 集群 standalone 模式；

• Yarn 調(diào)度 session 模式及 per-job 模式，常用于生產(chǎn)環(huán)境；

• K8S 環(huán)境 application 模式及 session 模式。

● 豐富任務(wù)類型

支持 json 同步任務(wù)，以及 sql 計(jì)算任務(wù)，用戶可以根據(jù)自己的需要，考慮是使用配置更加靈活的 json 同步任務(wù)，還是計(jì)算更加強(qiáng)大的 sql 計(jì)算任務(wù)。

● 多種插件種類

ChunJun 上下游插件多達(dá) 40 種，如常見的 mysql、binlog、logminer 等，大部分插件都支持 source/reader、sink/writer 及維表功能。

開放兼容

● 信創(chuàng)兼容

實(shí)現(xiàn)國產(chǎn)信創(chuàng)環(huán)境全面適配，包括服務(wù)器、芯片、系統(tǒng)、數(shù)據(jù)庫等，并且支持在海豚調(diào)度、太阿調(diào)度、dlinky 等常用平臺上使用。

● 成熟穩(wěn)定

開源開放，基于 gitHub 社群不斷進(jìn)行優(yōu)化迭代，在上百家客戶生產(chǎn)環(huán)境上穩(wěn)定運(yùn)行，并且有專門的團(tuán)隊(duì)維護(hù)。

功能強(qiáng)大

● 支持增量同步

對于某些業(yè)務(wù)庫的表，表中的數(shù)據(jù)基本只有插入操作，隨著業(yè)務(wù)的運(yùn)行，表中的數(shù)據(jù)會越來越大。如果每次都整表同步的話，消耗的時(shí)間及資源也會越來越多，因此需要一個(gè)增量同步的功能，每次只同步增加部分的數(shù)據(jù)，對于已經(jīng)同步過的數(shù)據(jù)則不再進(jìn)行重復(fù)的同步工作。

增量同步是針對于兩個(gè)及以上數(shù)量的同步任務(wù)來說的，對于初次執(zhí)行增量同步的某張表而言，該次同步實(shí)質(zhì)上是整表同步，不同的是在任務(wù)執(zhí)行結(jié)束后會記錄增量字段的結(jié)束值 (endLocation) 并將其上傳至 prometheus 供后續(xù)使用。

在構(gòu)建下次增量任務(wù)時(shí)獲取該 endLocation 并作為上述過濾條件的參數(shù)值 (startLocation)。在任務(wù)解析到增量任務(wù)配置時(shí)，會根據(jù) startLocation 的有無自動構(gòu)建過濾條件，并將其拼接至 where 條件中，最終構(gòu)建出一條如：select id, name, age from test where id > 100 的 SQL，從而達(dá)到增量讀取的目的。

● 支持?jǐn)帱c(diǎn)續(xù)傳

對于某些業(yè)務(wù)庫的表，其數(shù)據(jù)量可能非常大，同步可能耗時(shí)非常久。如果在同步過程中由于某些原因?qū)е氯蝿?wù)失敗，從頭再來的話成本非常大，因此需要一個(gè)斷點(diǎn)續(xù)傳的功能從任務(wù)失敗的地方繼續(xù)。

斷點(diǎn)續(xù)傳的本質(zhì)是通過 Flink 的 checkpoint 機(jī)制實(shí)現(xiàn)的，在每次 checkpoint 時(shí)，reader 插件會保存當(dāng)前讀取到的字段的值，writer 插件則會在保存 writer 中的指標(biāo)及其他信息，然后將 writer 中的事務(wù)提交。

● 支持同步 DDL 數(shù)據(jù)

在客戶真實(shí)場景中，對于 DDL 數(shù)據(jù)目前無法處理的情況，ChunJun 借助外部數(shù)據(jù)源，監(jiān)聽并捕獲 DDL 變更數(shù)據(jù)，根據(jù)任務(wù)配置，對下游采用手動變更或自動變更。

● 支持臟數(shù)據(jù)收集系統(tǒng)插件化

面對不同的業(yè)務(wù)場景，可以配置不同的臟數(shù)據(jù)配置，靈活處理，例如：是否將臟數(shù)據(jù)落盤處理；是否在日志中打印臟數(shù)據(jù)信息；臟數(shù)據(jù)最大條數(shù)限制；臟數(shù)據(jù)存儲到不同類型的數(shù)據(jù)源等。

● 支持指標(biāo)系統(tǒng)插件化

與臟數(shù)據(jù)插件化類似，指標(biāo)系統(tǒng)在設(shè)計(jì)上也采用了插件化設(shè)計(jì)，用戶根據(jù)自己的業(yè)務(wù)場景，可靈活配置指標(biāo)系統(tǒng)。

ChunJun 的未來規(guī)劃

后續(xù)我們將定期對 ChunJun 進(jìn)行迭代，發(fā)布最新版本。近期的規(guī)劃如下：

?完善項(xiàng)目 E2E 測試及插件單測，為項(xiàng)目提供強(qiáng)有力的穩(wěn)定性保證；

?加強(qiáng)數(shù)據(jù)還原，聯(lián)同數(shù)據(jù)湖打造批流一體數(shù)倉全鏈路；

?增加服務(wù)能力，打造最全面的數(shù)據(jù)集成框架；

?框架整體優(yōu)化，為用戶提供最快、最絲滑的體驗(yàn)。

寫在最后

為了滿足各類業(yè)務(wù)需求，如何選擇正確的數(shù)據(jù)集成工具，從而對各類數(shù)據(jù)加以歸納，是許多企業(yè)面臨的問題。ChunJun 相繼在各類型企業(yè)中進(jìn)行落地應(yīng)用，經(jīng)過在豐富核心業(yè)務(wù)場景中的實(shí)踐和打磨，能夠支持不同類型的數(shù)據(jù)集成和同步任務(wù)，其強(qiáng)大的功能保障著客戶業(yè)務(wù)數(shù)據(jù)的一致性。

ChunJun 項(xiàng)目技術(shù)團(tuán)隊(duì)非常期待得到每一個(gè)人的反饋，能夠和其他優(yōu)秀開發(fā)者共同合作，進(jìn)一步推動數(shù)據(jù)集成 / 同步的技術(shù)發(fā)展。

最后，如果您對 ChunJun 或數(shù)據(jù)集成等領(lǐng)域有興趣，都可以參與到我們的建設(shè)中來，一起交流，一起進(jìn)步，為 ChunJun 變得更好貢獻(xiàn)一點(diǎn)你的代碼和意見，這將是我們，同時(shí)也是 ChunJun 莫大的榮幸。

ChunJun 粉絲福利

為了慶祝 ChunJun 公眾號的開通，我們準(zhǔn)備了一些小禮物回饋給一直支持我們的社區(qū)同學(xué)們。

參與方式：

關(guān)注公眾號 “ChunJun”，回復(fù) “抽獎”，點(diǎn)擊抽獎鏈接，答對問題的同學(xué)即可參與活動。

開獎時(shí)間：

2022 年 8 月 19 日 12:00

活動獎品：

小米牙刷 * 10

注意事項(xiàng)：

1. 每位用戶（同一地址或手機(jī)號）只能參與一次； 2. 獎品將于 3 個(gè)工作日內(nèi)發(fā)出，請耐心等待，注意查收，因快遞郵寄原因，本次活動僅限中國大陸用戶參與； 3. 活動解釋權(quán)歸 “ChunJun” 所有。

袋鼠云開源框架釘釘技術(shù)交流群（30537511），歡迎對大數(shù)據(jù)開源項(xiàng)目有興趣的同學(xué)加入交流最新技術(shù)信息，開源項(xiàng)目庫地址：https://github.com/DTStack