ChunJun是一個開始于2018年的批流一體數(shù)據(jù)集成框架項目，原名FlinkX。2022年2月22日，在FlinkX進行初版開源的整整四年后，技術(shù)團隊決定對FlinkX進行整體升級，并更名為ChunJun，希望為大家真正提供一個穩(wěn)定、高效、易用的批流一體的數(shù)據(jù)集成框架。

2022年的ChunJun茁壯成長，如今已經(jīng)是一個由68多位貢獻者協(xié)同開發(fā)、擁有3437個star的人氣項目。

項目地址：https://github.com/DTStack/chunjun

ChunJun 項目進展

Star數(shù)：3437 Fork數(shù)：1556

Issue Closed：764 PR Cloesd：523

Contributors：68 Commits：5147

ChunJun 內(nèi)容輸出

視頻課程：共計15課

涵蓋直播課程、入門指南、解決方案等方方面面

精品文章：共計18篇

帶你快速了解chunJun

技術(shù)社群：3898人

已成為大量開發(fā)者及大數(shù)據(jù)愛好者的交流學(xué)習(xí)平臺

ChunJun 獎項榮譽

入選Gitee最有價值開源項目——GVP

2022 ChunJun大事記

送虎歲，迎兔年，值此除舊迎新之際，想和一直以來關(guān)注ChunJun開源社區(qū)的朋友聊聊這一年的進展：

2022年2月22日

沉淀了團隊六年來在數(shù)據(jù)同步和集成方面的實踐經(jīng)驗，技術(shù)團隊決定對FlinkX進行整體升級，并更名為ChunJun。希望為大家真正提供一個穩(wěn)定、高效、易用的批流一體的數(shù)據(jù)集成框架。

2022年5月28日

ChunJun社區(qū)第一次會議，討論當(dāng)前第一個版本的roadmap規(guī)劃，首次邀請社區(qū)小伙伴一起參與討論。內(nèi)容包括減少啟動參數(shù)，讓用戶快速啟動；增加 Docker 部分，用戶直接下載Docker 鏡像，開箱即用等。

2022年6月25日

開源小伙伴貢獻的官網(wǎng)內(nèi)容正式發(fā)布。

官網(wǎng)地址：https://dtstack.github.io/chunjun/

2022年7月9日

ChunJun社區(qū)第二次會議，討論當(dāng)前第二個版本的roadmap規(guī)劃。

2022年9月18日

ChunJun社區(qū)第三次會議，討論當(dāng)前第三個版本的roadmap規(guī)劃，調(diào)整 pr review & merge 規(guī)范和流程。

2022 ChunJun活動

2022年8月27日

聯(lián)合OceanBase社區(qū)主辦開源線下Meetup，發(fā)布基于Oceanbase 的離線插件和cdc 插件，并推出聯(lián)合方案。

2022年9月24日

參與Hadoop MeetUp，分享ChunJun在實時采集上的功能和新特性。

2022年10月29日

聯(lián)合舉辦 COSCon'22 開源年會杭州分會場，分享袋鼠云三大組件 ChunJun、Taier、ChengYing 的配套使用構(gòu)建。

2022 ChunJun精品課程

2022年4月27日

課程：ChunJun支持異構(gòu)數(shù)據(jù)源DDL轉(zhuǎn)換與自動執(zhí)行

視頻鏈接：https://sourl.cn/i9CzDP

2022年6月27日

課程：ChunJun數(shù)據(jù)還原-DDL功能模塊解析

視頻鏈接：https://sourl.cn/ffwtMc

2022年7月6日

課程：ChunJun同步Hive事務(wù)表

視頻鏈接：https://sourl.cn/fbaWgD

2022年8月19日

課程：ChunJun數(shù)據(jù)傳輸模塊介紹

視頻鏈接：https://sourl.cn/iLY7vn

2022年9月22日

課程：ChunJun類加載原理與實現(xiàn)

視頻鏈接：https://s.r.sn.cn/WCWURr

2022年12月9日

課程：ChunJun數(shù)據(jù)安全之Kerberos介紹

視頻鏈接：https://s.r.sn.cn/Nix84z

2022 ChunJun研發(fā)進展

共發(fā)布七個版本：

V1.12.1

·?核心數(shù)據(jù)還原功能框架開發(fā)完成，增加了binlog/logminer 對 DDL 的監(jiān)聽處理；

· 豐富插件，添加Doris 插件；

· 添加ChunJun 對 Flink python udf 的支持；

· 穩(wěn)定性提升，修復(fù)ChunJun 20+ bug。

V1.12.2

· 豐富插件, 添加 inceptor插件；

· 豐富插件，添加 influxdb插件；

· 代碼優(yōu)化，使用插件 spotless-plugins強制對代碼風(fēng)格進行檢查；

· es 插件優(yōu)化，支持 ssl模式；

· gbase 插件優(yōu)化，支持 update模式；

· k8s 模式下添加對 application mode支持;

· 穩(wěn)定性提升，修復(fù)ChunJun 10+ bug。

V1.12.3

· 豐富插件, 添加 starrocks插件；

· 增量同步支持 datetime類型；

· SQLserver cdc增加對數(shù)據(jù)類型 smallint的支持；

· 穩(wěn)定性提升，修復(fù)ChunJun 10+ bug。

V1.12.4

· 豐富插件，添加 oceanbase插件；

· 數(shù)據(jù)還原功能加強，添加中間數(shù)據(jù)存儲，避免數(shù)據(jù)丟失；

· 項目名稱調(diào)整，從 FlinkX修改為 ChunJun；

· 插件優(yōu)化，調(diào)整 inceptor插件的讀取方式，從原來的 jdbc調(diào)整為直接讀取文件；

· 插件優(yōu)化，pg讀取插件支持 Array類型；

· 增加對 protobuffer format的支持；

· 穩(wěn)定性提升，修復(fù)ChunJun 20+ bug。

V1.12.5

· 數(shù)據(jù)同步 jdbc分片優(yōu)化，添加對 range mode的支持，原先只支持 mod模式分片；

· 易用性提升，添加內(nèi)置提交腳本，在不同模式下任務(wù)提交需要傳入的參數(shù)，只需要傳遞 -job和 -confProp即可；

· ChunJun增加一個模塊，準(zhǔn)備用于發(fā)布安裝包；

· 穩(wěn)定性提升，修復(fù)ChunJun 15+ bug。

V1.12.6

· 優(yōu)化 ChunJun數(shù)據(jù)同步的序列化方式；

· ChunJun 添加新的官網(wǎng)，方便社區(qū)同學(xué)了解閱讀文檔及技術(shù)方案；

· 豐富插件, 添加 rocketmq、sybase、s3、vertica11、iceberg插件及 redis讀取插件；

· docker模式的支持，并添加執(zhí)行腳本和文檔；

· jdbc 插件增強，添加在執(zhí)行前檢查 dbconn;

· hbase 插件優(yōu)化和重構(gòu)，支持 transformer；

· ChunJun 工程支持E2E 功能；

· oracle 插件增強支持 nchar、nvarchar2 類型的中文存儲；

· 穩(wěn)定性提升，修復(fù)ChunJun 30+ bug。

V1.12.7

· 優(yōu)化 jdbc base模塊，添加對列信息的初始化功能；

· 優(yōu)化 ftp讀取性能，添加對大文件切片的支持；

· hdfs 插件優(yōu)化，支持 hadoop3.x 版本 orc讀取；

· e2e 功能豐富，添加 ftp container；

· es7 插件優(yōu)化，支持 type關(guān)鍵字；

· 穩(wěn)定性提升，修復(fù)ChunJun 30+ bug。

2023年的ChunJun

ChunJun未來規(guī)劃

· 依賴 Flink版本升級到1.16；

· ChunJun 提供Rest api 的server 服務(wù)，簡化ChunJun 集成的難度；

· ChunJun 添加數(shù)據(jù)還原DDL支持Iceberg、Hudi。

兔年祝福

2022年，感謝 ChunJun社區(qū)小伙伴們的大力支持，ChunJun走的每一步都離不開你們的幫助，2023年，我們繼續(xù)交流，一起進步。

也祝福大家在新的一年里兔飛猛進，快樂，幸?！??

想了解或咨詢更多有關(guān)袋鼠云大數(shù)據(jù)產(chǎn)品、行業(yè)解決方案、客戶案例的朋友，瀏覽袋鼠云官網(wǎng)：https://www.dtstack.com/?src=szbzhan

同時，歡迎對大數(shù)據(jù)開源項目有興趣的同學(xué)加入「袋鼠云開源框架釘釘技術(shù) qun」，交流最新開源技術(shù)信息，qun 號碼：30537511，項目地址：https://github.com/DTStack