?出品｜愛(ài)數(shù)據(jù)LoveData（ID：cntongji）
嘉賓｜薛靖凱
采訪｜夏天
編輯｜小數(shù)

嘉|賓|介|紹

薛靖凱

六年ETL工作經(jīng)驗(yàn)

在多家銀行的不同項(xiàng)目中擔(dān)任ETL工程師

熟悉ETL流程，銀行業(yè)務(wù)知識(shí)

Q1：老師可以分享一下您的工作經(jīng)歷嗎？

我從畢業(yè)開(kāi)始就做ETL相關(guān)的工作，也是跟數(shù)據(jù)相關(guān)的。剛開(kāi)始做了三年管理會(huì)計(jì)項(xiàng)目，主要工作內(nèi)容是內(nèi)部資金轉(zhuǎn)移定價(jià)、成本分?jǐn)?、還有資產(chǎn)負(fù)債相關(guān)的。后來(lái)回到成都，主要做新網(wǎng)銀行征信2.0報(bào)送升級(jí)，主要做的個(gè)人貸款這部分。最后又做了新網(wǎng)銀行的客戶集市，新網(wǎng)銀行網(wǎng)上銀行的業(yè)務(wù)，要對(duì)客戶進(jìn)行管理，也是與ETL相關(guān)。

目前在成都銀行做數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的工作，也是有需求就提數(shù)據(jù)，沒(méi)有需求就進(jìn)行基礎(chǔ)運(yùn)維，也會(huì)對(duì)接這邊的銀監(jiān)和數(shù)據(jù)監(jiān)管的數(shù)據(jù)提取。

Q2：銀行的業(yè)務(wù)體系跟其他的業(yè)務(wù)體系相比，在ETL方面有什么特殊性嗎？

銀行主要是數(shù)據(jù)核對(duì)起來(lái)比較繁雜，因?yàn)楹藢?duì)需要涉及到科目、出賬、明細(xì)賬等等，尤其是信用卡部分，核對(duì)是最麻煩的。

在ETL的工具上沒(méi)有特別說(shuō)別的業(yè)務(wù)體系用不到，但是銀行業(yè)務(wù)體系能用到的工具。但是它手工臺(tái)賬比較多，核對(duì)麻煩，會(huì)有手工補(bǔ)錄的東西，遇到手工補(bǔ)錄的就只能把excel發(fā)給你，你自己建表或者有一個(gè)補(bǔ)錄平臺(tái)，補(bǔ)進(jìn)去之后才能獲取，時(shí)效性就沒(méi)有那么強(qiáng)。

Q3：ETL開(kāi)發(fā)的在大數(shù)據(jù)的整個(gè)項(xiàng)目流程中處于哪個(gè)位置？主要的工作內(nèi)容是什么？

ETL是屬于中前期的階段，但是它會(huì)貫穿到整個(gè)項(xiàng)目周期里，因?yàn)镋TL會(huì)涉及到調(diào)優(yōu)這樣一直持續(xù)的工作。

【工作內(nèi)容案例分享】

我做資金轉(zhuǎn)移定價(jià)的項(xiàng)目比較多，所以就分享一下內(nèi)部資金轉(zhuǎn)移定價(jià)的流程。

簡(jiǎn)單來(lái)說(shuō)就是銀行存款和貸款這兩塊。內(nèi)部資金轉(zhuǎn)移定價(jià)就是給存款一個(gè)收益，比如說(shuō)拉存款給利息，對(duì)銀行來(lái)說(shuō)這個(gè)好像總在虧錢(qián)，但其實(shí)它是有創(chuàng)造收益的，因?yàn)闆](méi)有存款就肯定貸不出去錢(qián)。對(duì)于貸款來(lái)講，總是發(fā)貸款，總是要收別人利息，就好像這個(gè)是沒(méi)有成本一樣，但其實(shí)不是，給存款一個(gè)收益，給貸款一個(gè)成本，其實(shí)就是做這個(gè)事情。

首先我們要有一個(gè)業(yè)務(wù)范圍的限定，相當(dāng)于把數(shù)據(jù)范圍限定了，這樣的話主要就涉及到資產(chǎn)負(fù)債表里面所有的科目，所有的數(shù)據(jù)都會(huì)接進(jìn)來(lái)，我們就依照這個(gè)科目的數(shù)據(jù)去找貸款、存款、資金、信用卡等等，這些所有的數(shù)據(jù)都得和業(yè)務(wù)人員進(jìn)行固定溝通，把各個(gè)系統(tǒng)的數(shù)據(jù)抽取過(guò)來(lái)，這是第一步。這一步涉及的工具是Oracle自帶的工具，或者可以用現(xiàn)在比較火的Kettle、Informatica，這些都是進(jìn)行數(shù)據(jù)抽取的。

我們主要是為了進(jìn)行定價(jià)，定價(jià)首先數(shù)據(jù)得準(zhǔn)確。我們就要用ETL對(duì)數(shù)據(jù)進(jìn)行核對(duì)，先是大量的一個(gè)總量的核對(duì)，把總量核對(duì)正確之后，在進(jìn)行其他數(shù)據(jù)的核對(duì)，比如說(shuō)客戶信息，或者機(jī)構(gòu)信息這些維度的信息。定價(jià)不是簡(jiǎn)單的定到科目上，而是要定到明細(xì)賬，比如說(shuō)我去銀行存錢(qián)，銀行給我們每個(gè)人有一個(gè)利率的定價(jià)，所以說(shuō)對(duì)于個(gè)人要特別明細(xì)?？偨Y(jié)就是我們先把大的總量核對(duì)了，之后再把明細(xì)的每個(gè)人的定價(jià)進(jìn)行核對(duì)。

在之后就是數(shù)據(jù)的處理。比如說(shuō)臟數(shù)據(jù)，數(shù)據(jù)少、數(shù)據(jù)不對(duì)、可能我們溝通的階段沒(méi)有到位還要去跟其他人員繼續(xù)溝通，再把數(shù)據(jù)重新獲取過(guò)來(lái)。都是在合作的過(guò)程中慢慢的完成，所以說(shuō)ETL貫穿了整個(gè)項(xiàng)目。

【整個(gè)ETL的流程中最重要的工作】

最重要的其實(shí)就是處理的過(guò)程，清洗的過(guò)程。因?yàn)橐藢?duì)數(shù)據(jù)把臟數(shù)據(jù)去掉，看缺的數(shù)據(jù)從其他系統(tǒng)能不能獲取補(bǔ)全。

然后就是滿足定價(jià)的要求，因?yàn)槎▋r(jià)會(huì)有些字段是必須要的，比如說(shuō)存款期限，活期存款、定期存款，利率是多少，這些都是必要字段，一定要存在的，如果沒(méi)有就要通過(guò)其他方式補(bǔ)進(jìn)來(lái)。像這種必須的字段需要進(jìn)行清洗、轉(zhuǎn)換，這個(gè)階段是比較重要的，貫穿整個(gè)ETL的流程。

【工作配合】

一般一個(gè)項(xiàng)目人員會(huì)有分工，首先要跟業(yè)務(wù)溝通項(xiàng)目怎么做，拿上面的例子，比如說(shuō)定價(jià)，會(huì)形成一個(gè)文檔，就是我要什么數(shù)據(jù)，每個(gè)客戶都有定價(jià)的唯一鍵，怎么形成這個(gè)唯一鍵，比如說(shuō)用客戶號(hào)，或者什么東西形成，那我們就根據(jù)這個(gè)內(nèi)部會(huì)形成一個(gè)業(yè)務(wù)文檔，內(nèi)部要看，外部也要看，因?yàn)橐蛻暨M(jìn)行溝通，是一個(gè)業(yè)務(wù)需求文檔。

業(yè)務(wù)定下來(lái)之后，如果有數(shù)倉(cāng)，可以跟數(shù)倉(cāng)直接溝通，沒(méi)有的話要和原系統(tǒng)人員溝通。和原系統(tǒng)溝通的話就要和更系統(tǒng)，比如說(shuō)核心業(yè)務(wù)、核心系統(tǒng)，信用卡就和信用卡中心，資金業(yè)務(wù)就和comstar，一般都是那個(gè)系統(tǒng)做。

外部溝通則需要溝通數(shù)據(jù)字典，比如表、表結(jié)構(gòu)、字段以及碼值說(shuō)明。拿過(guò)來(lái)之后要落到我們的庫(kù)的話，我們要自己編制一套表機(jī)構(gòu)，落地成我們自己的文檔。

Q4：ETL工作流程中涉及到哪些重點(diǎn)環(huán)節(jié)？每個(gè)環(huán)節(jié)對(duì)應(yīng)的工具有什么？

抽?。?/strong>抽取是ETL的第一步，工具的話現(xiàn)在在普遍使用的像Kettle、Informatica等等。

轉(zhuǎn)換：轉(zhuǎn)化的話一般都是用SQL實(shí)現(xiàn)，轉(zhuǎn)換數(shù)據(jù)在工作流程中比較重要，設(shè)計(jì)到準(zhǔn)確性。

調(diào)度：還有一些調(diào)度工具，比如寫(xiě)好存儲(chǔ)過(guò)程，一般這個(gè)需要每日跑，或者每月、半年跑一次，這個(gè)時(shí)候就需要一個(gè)調(diào)度工具來(lái)實(shí)現(xiàn)，每個(gè)公司都會(huì)研發(fā)自己的調(diào)度工具。

如果需要報(bào)表展示的話會(huì)用到一些BI工具，像IBM Cognos Analytics、帆軟、觀遠(yuǎn)等等。

Q5：ETL工程師是否有等級(jí)劃分？

其實(shí)這個(gè)沒(méi)有明確的等級(jí)劃分，因?yàn)闆](méi)有一個(gè)全國(guó)性的證書(shū)之類(lèi)的，它沒(méi)有一個(gè)行業(yè)學(xué)習(xí)的標(biāo)準(zhǔn)，一般來(lái)說(shuō)是按照年限來(lái)區(qū)分，如果從能力的角度的話，那我們可以簡(jiǎn)單分一下初中高。

初級(jí)：相對(duì)就很基礎(chǔ)，比如說(shuō)給你安排了一部分工作，你負(fù)責(zé)加載這部分，這樣的就比較基礎(chǔ)。

中級(jí)：你要對(duì)業(yè)務(wù)比較了解，也知道文檔怎么去寫(xiě)，同時(shí)也要有一定的溝通能力。

高級(jí)：對(duì)于高級(jí)的ETL，你需要熟悉整個(gè)項(xiàng)目流程、業(yè)務(wù)流程，知道項(xiàng)目處于哪個(gè)階段，每個(gè)階段該做什么，同時(shí)要跟各個(gè)部門(mén)的人員有溝通，溝通能力要強(qiáng)。

【職業(yè)進(jìn)階】

其實(shí)對(duì)于ETL來(lái)說(shuō)，上面提到，要了解項(xiàng)目階段，有一個(gè)跟業(yè)務(wù)溝通的流程，如果說(shuō)職業(yè)進(jìn)階可以做數(shù)據(jù)分析，數(shù)據(jù)產(chǎn)品等等這些方面。

Q6：ETL工程師的崗位價(jià)值或者說(shuō)重要性體現(xiàn)在哪里？

ETL的工作是個(gè)基礎(chǔ)，沒(méi)有基礎(chǔ)就沒(méi)有后面的一些流程。就相當(dāng)于跟做飯一樣，ETL就是先把菜買(mǎi)回來(lái)，摘好、洗好、切好，這個(gè)工作看起來(lái)基礎(chǔ)，但是對(duì)于吃飯來(lái)說(shuō)是很重要的，這就相當(dāng)于是數(shù)據(jù)的清洗。

以后就算你去做管理，這個(gè)經(jīng)歷會(huì)讓你不管是對(duì)數(shù)據(jù)，對(duì)項(xiàng)目都有一個(gè)更清晰的認(rèn)知，是很重要的一個(gè)階段，也是很好的經(jīng)歷。

Q7：您認(rèn)為ETL工程師的職業(yè)發(fā)展前景如何？

其實(shí)從崗位需求來(lái)看的話這個(gè)需求量是很大的，因?yàn)檫@個(gè)是屬于數(shù)據(jù)相關(guān)的工作，現(xiàn)在是數(shù)據(jù)爆發(fā)的階段，是一個(gè)趨勢(shì)，所以對(duì)ETL這個(gè)工作，崗位需求肯定是沒(méi)有大問(wèn)題的。

對(duì)于那個(gè)進(jìn)階的話，其實(shí)可以從這個(gè)開(kāi)始做，它的技術(shù)要求比較廣，那如果以后想轉(zhuǎn)到其他崗位，可以在了解那個(gè)崗位技術(shù)要求之后特意去培養(yǎng)某一方面，比如說(shuō)你想做數(shù)據(jù)分析，那你可以培養(yǎng)一下數(shù)據(jù)的敏感度。

從這些方面考慮ETL還是挺有優(yōu)勢(shì)的。

Q8：是每一個(gè)項(xiàng)目基本上都涉及到清洗和轉(zhuǎn)換嗎？

基本上都會(huì)涉及清洗和轉(zhuǎn)換，因?yàn)槟闶菑膭e的系統(tǒng)輸出加載到你的系統(tǒng)，這個(gè)時(shí)候你肯定是要做一番轉(zhuǎn)換的，比如說(shuō)你買(mǎi)菜回來(lái)，肯定是要清洗才可以進(jìn)行后面的切切炒炒的這個(gè)操作。

Q9：ETL工程師在公司或者項(xiàng)目的架構(gòu)中的數(shù)量是怎樣的？

我感覺(jué)ETL工程師的占比會(huì)比較大一點(diǎn)，因?yàn)橄癞a(chǎn)品他不一定會(huì)常常都在，他可能在這邊安裝好了，測(cè)試完成就可以先撤掉去進(jìn)行其他項(xiàng)目，如果你這邊有問(wèn)題他在過(guò)來(lái)，他不需要常呆，但是對(duì)于數(shù)據(jù)來(lái)說(shuō)這個(gè)不可能，我做一半然后去其他地方在做一般這個(gè)是不可能的，基于你對(duì)當(dāng)前項(xiàng)目的數(shù)據(jù)熟悉度，就需要把項(xiàng)目做完整，所以數(shù)量的話會(huì)想多占比大一點(diǎn)。

Q10：針對(duì)想要從事ETL工程師的同學(xué)，老師可以分享一下您的建議嗎？

首先對(duì)于基礎(chǔ)能力的話可以根據(jù)工作的實(shí)際需求去網(wǎng)站上查一查，或者找一些課程學(xué)習(xí)一下。

那最主要的還是自我的認(rèn)知和業(yè)務(wù)的溝通理解。不能只看一塊，要看整體。要把整個(gè)項(xiàng)目流程，還有項(xiàng)目的著重點(diǎn)、關(guān)鍵點(diǎn)把握住，理解清楚。

其實(shí)這個(gè)就是說(shuō)工作中不要糾結(jié)與自己的一部分工作，不屬于你的就不看了，這樣不行，你要關(guān)注于整個(gè)項(xiàng)目的業(yè)務(wù)需求，項(xiàng)目關(guān)鍵節(jié)點(diǎn)這些。

? ?愛(ài)數(shù)據(jù)ETL課程咨詢

標(biāo)簽：