當(dāng)了這么多年程序員了，大大小小公司都待過，各方面的能力經(jīng)驗都已經(jīng)積累一些了，但每當(dāng)遇到系統(tǒng)數(shù)據(jù)遷移之類的事情，還是非常頭疼，思來想去，根源還是基建上缺乏完整易用的遷移能力。

熬夜加班遷移系統(tǒng)的時候，經(jīng)常手?jǐn)]一些工具代碼，不同系統(tǒng)組件之間的串聯(lián)也要寫很多代碼進(jìn)行串接，效率低到懷疑人生，那些時間，加班是家常便飯，發(fā)際線也往后移了幾厘米，再到后來，一聽到信息系統(tǒng)遷移之類的活，就直搖頭，實在沒辦法，才會硬著頭皮上。

本以為這類事情一直會這么痛苦，然后，最近在瀏覽最新一期《騰訊云工具指南》時，發(fā)現(xiàn)系統(tǒng)遷移這件事，竟然能夠順滑的超乎自己的想象。

1.

來看一個真實的案例，這個項目是某股份制銀行和騰訊云共同推進(jìn)的一個大數(shù)據(jù)創(chuàng)新合作項目。我們要看看在國產(chǎn)軟硬件環(huán)境下，采用云原生數(shù)據(jù)湖架構(gòu)能否滿足興業(yè)銀行接下來3到5年的數(shù)字化發(fā)展需求。同時，我們還要比較這個新架構(gòu)是否比之前的系統(tǒng)更有彈性、性能更高，以及總體成本更低。

經(jīng)常做系統(tǒng)遷移的同學(xué)很快會發(fā)現(xiàn)，這里面有幾類常見的挑戰(zhàn)：多個大數(shù)據(jù)集群之間的數(shù)據(jù)遷移成本很高，而且數(shù)據(jù)更新的速度不夠靈活。同時，各種大數(shù)據(jù)工具之間難以整合，對象存儲的讀寫效率較低。還有就是，計算資源的調(diào)整和隔離也存在一定困難。

遇到這種情況，騰訊云原生大數(shù)據(jù)平臺就發(fā)揮出很多作用了，來看看核心優(yōu)勢：

1. 引入對象存儲組件來適應(yīng)更廣泛的數(shù)據(jù)文件格式，構(gòu)建具有更廣泛存儲能力的數(shù)據(jù)湖平臺

2. 引入數(shù)據(jù)編排組件銜接文件存儲、對象存儲等各位文件系統(tǒng)，構(gòu)建統(tǒng)一數(shù)據(jù)訪問接口

3. 容器化大數(shù)據(jù)查詢引擎組件，構(gòu)建彈性、高可用、云化計算層

4. 構(gòu)建虛擬化查詢平臺，提供無感知多數(shù)據(jù)源交互性查詢系統(tǒng)，提升平臺融合查詢能力

針對這次數(shù)據(jù)系統(tǒng)遷移任務(wù)，騰訊云大數(shù)據(jù)平臺通過創(chuàng)新性地運(yùn)用Alluxio、Iceberg、SuperSQL等大數(shù)據(jù)能力組件，構(gòu)建了新一代國產(chǎn)化存算分離數(shù)據(jù)湖架構(gòu)，并實現(xiàn)了組件國產(chǎn)化適配、近實時數(shù)據(jù)湖、分布式緩存加速、統(tǒng)一數(shù)據(jù)編排、彈性計算和聯(lián)邦查詢等特性。這些特點(diǎn)都有助于解決系統(tǒng)遷移中的挑戰(zhàn)，使整個過程更加順利。

2.

因為有些讀者并不熟悉，這里我們介紹下騰訊的云原生大數(shù)據(jù)平臺，這張圖是它的整體架構(gòu)圖：

平臺的特性，從需求角度思考，每一個都是命中用戶的實際業(yè)務(wù)痛點(diǎn)：

1. 國產(chǎn)化：大數(shù)據(jù)平臺及其技術(shù)組件需全面支持國產(chǎn)化生態(tài)

2. 云數(shù)一體化：容器化大數(shù)據(jù)計算查詢引擎組件，構(gòu)建彈性、高可用、云化計算層

3. 存算分離化：將存儲與計算分離在不同集群中，分別提升存儲和計算的彈性，為后續(xù)爆發(fā)式數(shù)據(jù)應(yīng)用提供可線性增長架構(gòu)支持

4. 湖倉湖倉化：將數(shù)據(jù)倉庫和數(shù)據(jù)湖進(jìn)行結(jié)合，實現(xiàn)統(tǒng)一數(shù)據(jù)存儲、統(tǒng)一數(shù)據(jù)計算和統(tǒng)一數(shù)據(jù)訪問的數(shù)據(jù)湖倉

5. 融合計算化：引入聯(lián)邦查詢技術(shù)，實現(xiàn)跨數(shù)據(jù)源、跨執(zhí)行引擎交互式數(shù)據(jù)訪問方式為數(shù)據(jù)中臺數(shù)據(jù)大融合提供技術(shù)支撐

6. 數(shù)據(jù)敏捷化：基于DataOps數(shù)據(jù)管理方法，構(gòu)建一站式數(shù)據(jù)集成，開發(fā)、治理和運(yùn)營平臺，實現(xiàn)批流一體化敏捷數(shù)據(jù)服務(wù)

在學(xué)習(xí)和使用部分功能后，我的整體感受是，這個大數(shù)據(jù)平臺的表現(xiàn)相當(dāng)不錯。它緊跟國產(chǎn)化的潮流，支持國產(chǎn)化生態(tài)，表現(xiàn)出對國家戰(zhàn)略的積極響應(yīng)。云數(shù)一體化方面的設(shè)計，讓計算層具有更好的彈性和高可用性，為用戶帶來便利。

存算分離化策略在不同集群中處理存儲和計算，為數(shù)據(jù)應(yīng)用提供了可擴(kuò)展性。同時，它還成功實現(xiàn)了數(shù)據(jù)湖與數(shù)據(jù)倉庫的結(jié)合，讓統(tǒng)一的數(shù)據(jù)存儲、計算和訪問變得更簡單。

引入聯(lián)邦查詢技術(shù)讓數(shù)據(jù)融合變得更輕松，有助于提升整體數(shù)據(jù)處理能力。另外，基于DataOps的數(shù)據(jù)敏捷化管理，讓批流一體化的數(shù)據(jù)服務(wù)更加迅速高效?？傮w來說，這個大數(shù)據(jù)平臺具有很多優(yōu)點(diǎn)，值得關(guān)注和嘗試。

3.

再來看一個頭部基金使用騰訊云原生大數(shù)據(jù)平臺進(jìn)行數(shù)據(jù)系統(tǒng)遷移的案例，這個項目最終也是取得了非常不錯的結(jié)果。

客戶亟待實現(xiàn)大數(shù)據(jù)基礎(chǔ)設(shè)施的全面國產(chǎn)化，以取代現(xiàn)有的CDH大數(shù)據(jù)平臺，另一個難題是公司內(nèi)部多源異構(gòu)數(shù)據(jù)尚未成功整合為一個統(tǒng)一的歸集庫。而且，現(xiàn)有的CDH大數(shù)據(jù)平臺架構(gòu)過時，其存儲和計算組件的功能及性能難以適應(yīng)日益增長的業(yè)務(wù)需求。

同時，還得滿足一些硬性要求，要求遷移時間短，半年時間完成CDH平滑遷移；性能提升要求高，需要從原來6小時跑批縮短到3小時內(nèi)。

而這些需求點(diǎn)，騰訊云原生的大數(shù)據(jù)平臺，長期積累的技術(shù)能力是完全能夠滿足的，其Spark性能提升，對比CDH版本提升2倍以上，并且融合Dataops敏捷開發(fā)能力，降本增效，此外，也全面兼容CDH大數(shù)據(jù)平臺，特別是安全及Hive事務(wù)性能力。

于是，在預(yù)期的時間內(nèi)，工程師們利用大數(shù)據(jù)平臺和工具，成功搭建了TBDS大數(shù)據(jù)平臺，并在芯片和操作系統(tǒng)上完成了完整鏈路的國產(chǎn)化適配。平穩(wěn)地遷移了Hdfs、Hive、Hbase、Impala等數(shù)據(jù)和業(yè)務(wù)邏輯，在短短2個月內(nèi)實現(xiàn)了順利割接上線。同時，還順利遷移了Azkaban調(diào)度任務(wù)，有效降低了整個改造過程的成本。

這項工作在我看來，是非常出色的。它成功地打破了內(nèi)部數(shù)據(jù)孤島，將全域數(shù)據(jù)匯聚在一起，這對于提高數(shù)據(jù)利用效率和實現(xiàn)信息共享來說是相當(dāng)重要的。這個平臺實現(xiàn)了國產(chǎn)化落地，滿足了自主可控的需求。這對于保障國家數(shù)據(jù)安全和響應(yīng)國家政策來說，顯得尤為關(guān)鍵。

最后，通過融合TBDS高版本大數(shù)據(jù)生態(tài)組件，平臺提升了存算性能，順利完成了CDH數(shù)據(jù)平滑遷移。這無疑為用戶帶來了極大的便利，同時也展示了平臺的強(qiáng)大實力。

4.

寫了這么多，也做點(diǎn)簡單的總結(jié)，騰訊云原生大數(shù)據(jù)平臺真的是一個一直在路上、不斷突破自我的產(chǎn)品。它在方向選擇上非常正確，在國產(chǎn)化方面表現(xiàn)出色，積極響應(yīng)國家戰(zhàn)略，全面支持國產(chǎn)化生態(tài)，在如今的國際形勢下，我們需要更多這樣的屬于自己的可靠的技術(shù)能力。

從技術(shù)難度來看，騰訊云原生大數(shù)據(jù)平臺在面對復(fù)雜的數(shù)據(jù)處理和分析場景時，依然能保持穩(wěn)定高效的表現(xiàn)。其技術(shù)深度也是相當(dāng)讓人敬佩的，整合了許多先進(jìn)的技術(shù)，如容器化、聯(lián)邦查詢等，讓數(shù)據(jù)處理變得更加智能和高效。

作為商業(yè)產(chǎn)品，生存很重要，在不斷的實戰(zhàn)中去直面用戶的痛點(diǎn)、積累最寶貴的經(jīng)驗，這一點(diǎn)目前它做的還是不錯的，可以幫助企業(yè)和開發(fā)者快速搭建和部署大數(shù)據(jù)應(yīng)用，提高業(yè)務(wù)發(fā)展速度。

目前大數(shù)據(jù)平臺的詳細(xì)案例也收錄進(jìn)了騰訊云出版的最新一期《騰訊云工具指南》里，這期指南探討了國產(chǎn)化大背景下“信息系統(tǒng)遷移”場景的各種痛點(diǎn)和解決方案，并分享數(shù)據(jù)庫、TencentOS、私有云、大數(shù)據(jù)等產(chǎn)品在多個大型項目遷移中的應(yīng)用實戰(zhàn)案例，感興趣的同學(xué)可以從微 信打開這篇文章下載文檔：https://mp.weixin.qq.com/s/vZ1S1MTYinvxhkHx4idDzA