某零售集團(tuán)的數(shù)據(jù)智能團(tuán)隊(duì)，隨著集團(tuán)業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)中的數(shù)據(jù)體量日益增加，來(lái)自業(yè)務(wù)部門(mén)的數(shù)據(jù)類(lèi)需求不斷涌現(xiàn)，深層次數(shù)據(jù)查詢(xún)、數(shù)據(jù)分析、數(shù)據(jù)建模需求日益明顯。
在項(xiàng)目建設(shè)過(guò)程中，客戶(hù)基于Tempo數(shù)據(jù)工廠做了大量的集成開(kāi)發(fā)任務(wù)，基于Tempo機(jī)器學(xué)習(xí)平臺(tái)做了大量的經(jīng)營(yíng)決策模型，如何實(shí)現(xiàn)此類(lèi)任務(wù)的智能化的調(diào)度，保障數(shù)據(jù)準(zhǔn)確、及時(shí)地更新，成了核心需要解決的問(wèn)題。

一、業(yè)務(wù)痛點(diǎn)??
傳統(tǒng)的數(shù)據(jù)開(kāi)發(fā)任務(wù)調(diào)度執(zhí)行方式，主要分為3種：人工調(diào)度，基于sql、java、python等編程語(yǔ)言開(kāi)發(fā)的定時(shí)調(diào)度腳本、ETL工具調(diào)度。
這3種調(diào)度方式主要存在的問(wèn)題如下：
01、人工調(diào)度：需要開(kāi)發(fā)人員對(duì)業(yè)務(wù)流程、開(kāi)發(fā)流程高度熟悉，運(yùn)維的難度高、成本大、準(zhǔn)確率低。
02、腳本調(diào)度：通過(guò)代碼進(jìn)行編排，難度較大，缺乏任務(wù)監(jiān)控、出錯(cuò)重試、補(bǔ)錄等機(jī)制。
03、ETL調(diào)度：各任務(wù)節(jié)點(diǎn)通過(guò)并行、串行的方式進(jìn)行編排，一方面無(wú)法充分使用系統(tǒng)資源，另一方面無(wú)法支持?jǐn)帱c(diǎn)續(xù)跑。
傳統(tǒng)的方法無(wú)法高效解決任務(wù)調(diào)度的問(wèn)題，該如何破局呢？來(lái)看看美林?jǐn)?shù)據(jù)的解決思路。

二、解決思路 ?
在實(shí)際生產(chǎn)中，一個(gè)好用的調(diào)度系統(tǒng)需要兼顧準(zhǔn)確性、及時(shí)性和安全性。
準(zhǔn)確性：要在正確的時(shí)間點(diǎn)啟動(dòng)正確的作業(yè)，確保作業(yè)按照正確的依賴(lài)關(guān)系及時(shí)準(zhǔn)確地執(zhí)行；
及時(shí)性：要實(shí)現(xiàn)合理調(diào)度系統(tǒng)資源，確保任務(wù)能夠及時(shí)執(zhí)行完成，保障業(yè)務(wù)正常開(kāi)展；
安全性：當(dāng)遭遇網(wǎng)絡(luò)或業(yè)務(wù)系統(tǒng)故障時(shí)，要具備完善的監(jiān)控日志查看、數(shù)據(jù)補(bǔ)錄、數(shù)據(jù)重跑等機(jī)制，保障數(shù)據(jù)安全。
基于以上思路，美林?jǐn)?shù)據(jù)專(zhuān)家團(tuán)隊(duì)結(jié)合該集團(tuán)實(shí)際業(yè)務(wù)情況，為其定制了一套數(shù)據(jù)加工鏈路的標(biāo)準(zhǔn)流程，將每個(gè)階段的數(shù)據(jù)進(jìn)行高效抽取，并為后續(xù)的可視化分析、數(shù)據(jù)建模提供賦能，從而滿(mǎn)足數(shù)據(jù)智能團(tuán)隊(duì)統(tǒng)一數(shù)據(jù)管理、快速支撐業(yè)務(wù)的需求。

△某集團(tuán)的加工鏈路標(biāo)準(zhǔn)流程圖

有了標(biāo)準(zhǔn)化流程，在具體的業(yè)務(wù)開(kāi)展過(guò)程中該如何執(zhí)行落地呢？Tempo調(diào)度編排為該集團(tuán)提供了全新的智能化解決方案。
三、Tempo SA調(diào)度編排智能解決方案
Tempo SA調(diào)度編排智能解決方案是一款統(tǒng)一管理系統(tǒng)調(diào)度任務(wù)的自動(dòng)化方案，主要包含可視化的調(diào)度中心、任務(wù)管理、周期實(shí)例的重跑、補(bǔ)數(shù)據(jù)等實(shí)例運(yùn)維模塊。能夠?qū)崿F(xiàn)調(diào)度復(fù)雜編排和監(jiān)控，通過(guò)可視化配置、高容錯(cuò)、可修補(bǔ)等功能重點(diǎn)解決數(shù)據(jù)加工處理、數(shù)倉(cāng)建設(shè)等業(yè)務(wù)場(chǎng)景中調(diào)度編排問(wèn)題。
01、統(tǒng)一的任務(wù)管理能力

在Tempo調(diào)度編排調(diào)度中心，可以按照項(xiàng)目、業(yè)務(wù)流、文件夾等方式開(kāi)展調(diào)度任務(wù)，通過(guò)樹(shù)形結(jié)構(gòu)對(duì)Tempo 數(shù)據(jù)工廠的數(shù)據(jù)開(kāi)發(fā)任務(wù)、Tempo人工智能平臺(tái)的建模任務(wù)進(jìn)行管理。以某集團(tuán)的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目建設(shè)為例，我們按照銷(xiāo)售業(yè)務(wù)、倉(cāng)儲(chǔ)業(yè)務(wù)、物流業(yè)務(wù)對(duì)任務(wù)主題進(jìn)行劃分，再按照數(shù)倉(cāng)分層情況，就能實(shí)現(xiàn)對(duì)任務(wù)的分類(lèi)管理。

02、自動(dòng)化調(diào)度能力

在Tempo調(diào)度編排調(diào)度中心的流程配置模塊，可根據(jù)業(yè)務(wù)需求按周期定時(shí)定點(diǎn)開(kāi)啟任務(wù)調(diào)度，同時(shí)可以設(shè)置任務(wù)生效的時(shí)間范圍，通過(guò)這種配置方式實(shí)現(xiàn)程序的自動(dòng)化調(diào)度，還能通過(guò)配置流程出錯(cuò)重試次數(shù)，提升調(diào)度程序的容錯(cuò)性。

此外，Tempo調(diào)度編排支持配置各任務(wù)間的依賴(lài)關(guān)系，保障任務(wù)按照業(yè)務(wù)流程執(zhí)行，保障我們的數(shù)據(jù)質(zhì)量，無(wú)依賴(lài)關(guān)系的任務(wù)間相互獨(dú)立，充分調(diào)度系統(tǒng)資源，提升整體調(diào)度的執(zhí)行效率。

03、運(yùn)維監(jiān)控、數(shù)據(jù)補(bǔ)錄能力

Tempo調(diào)度編排能夠通過(guò)可視化界面實(shí)時(shí)監(jiān)控任務(wù)運(yùn)行情況，支持查看執(zhí)行記錄的統(tǒng)計(jì)和任務(wù)運(yùn)行日志等操作。

當(dāng)運(yùn)維人員發(fā)現(xiàn)任務(wù)執(zhí)行失敗后，可以用過(guò)平臺(tái)進(jìn)行數(shù)據(jù)補(bǔ)數(shù)據(jù)，補(bǔ)數(shù)據(jù)操作可以從執(zhí)行失敗的流程節(jié)點(diǎn)開(kāi)始，并執(zhí)行有依賴(lài)關(guān)系的全部下游任務(wù)，實(shí)現(xiàn)任務(wù)的斷點(diǎn)續(xù)跑功能，降低了數(shù)據(jù)補(bǔ)錄的操作難度，縮短了整體數(shù)據(jù)補(bǔ)錄時(shí)間。

04、多場(chǎng)景混合編排能力

在Tempo產(chǎn)品體系下，可通過(guò)Tempo數(shù)據(jù)工廠實(shí)現(xiàn)數(shù)據(jù)開(kāi)發(fā)、指標(biāo)開(kāi)發(fā)、通過(guò)Tempo人工智能平臺(tái)實(shí)現(xiàn)數(shù)據(jù)建模等流程混合編排調(diào)度。在Tempo SA調(diào)度編排智能解決方案的助力下，該集團(tuán)高效地解決了數(shù)據(jù)加工處理、數(shù)倉(cāng)建設(shè)等業(yè)務(wù)場(chǎng)景中調(diào)度編排問(wèn)題，提升了企業(yè)數(shù)據(jù)質(zhì)量和業(yè)務(wù)需求開(kāi)發(fā)效率，為企業(yè)經(jīng)營(yíng)決策分析賦能。

小T總結(jié)
Tempo調(diào)度編排簡(jiǎn)易操作的可視化作界面，極大降低使用門(mén)檻；
實(shí)時(shí)監(jiān)控任務(wù)運(yùn)行，操作日志可追溯，大幅提升了安全性；
自動(dòng)化調(diào)度、任務(wù)依賴(lài)關(guān)系配置、補(bǔ)數(shù)據(jù)等功能，有效降低了運(yùn)維的難度及成本。