出品｜愛數(shù)據(jù)LoveData（ID：cntongji）

嘉賓｜Joe

采訪｜夏天

編輯｜小數(shù)

8、在數(shù)據(jù)倉庫建模中，您覺得哪一塊比較難或者操作難度較大？

做建模比較困難的部分，其實最近幾年倒是遇到一個很麻煩的問題，這個也比較有代表性吧。

?

我們之前的傳統(tǒng)的銀行、通信，它的數(shù)據(jù)平臺上基于傳統(tǒng)的關系數(shù)據(jù)平臺，叫RDBMS，架構(gòu)也是基于RDBMS這種關系型數(shù)據(jù)。但是由于這幾年大數(shù)據(jù)平臺紛紛出來，而且這種MPP劣勢也顯示出來了，而且特別多。以及國產(chǎn)化，他也在做這種大數(shù)據(jù)平臺，大數(shù)平臺架構(gòu)和我們傳統(tǒng)的RDBMS數(shù)據(jù)平臺架構(gòu)完全不一樣。這就涉及到一個問題，作為一個企業(yè)，我可能已經(jīng)有一個基于RDBMS數(shù)倉了，我想升級為大數(shù)據(jù)平臺，比如說MPP架構(gòu)，或者說hadoop架構(gòu)。

RDBMS：關系數(shù)據(jù)庫管理系統(tǒng)（Relational Database Management System：RDBMS）是指包括相互聯(lián)系的邏輯組織和存取這些數(shù)據(jù)的一套程序 (數(shù)據(jù)庫管理系統(tǒng)軟件)。關系數(shù)據(jù)庫管理系統(tǒng)就是管理關系數(shù)據(jù)庫，并將數(shù)據(jù)邏輯組織的系統(tǒng)。

MPP框架：一種列式存儲格式，比較有代表性的是HBASE 和Teradata兩種列式存儲平臺。

hadoop架構(gòu)： 是一個開源的、基于Java的編程框架，設計用于跨電腦集群來處理大數(shù)據(jù)。Hadoop架構(gòu)管理多個節(jié)點之間的數(shù)據(jù)傳輸，確保即使有一個節(jié)點壞掉了，系統(tǒng)仍然保有適當?shù)墓δ堋?/p>

?

這里面涉及到一個從技術層面轉(zhuǎn)型，還有一個就是業(yè)務邏輯的轉(zhuǎn)型。之前的整個業(yè)務邏輯架構(gòu)設計放到新的大數(shù)據(jù)平臺，這中間有很多的問題要去處理、數(shù)據(jù)保留機制，業(yè)務邏輯處理邏輯，更多是這種轉(zhuǎn)換有些是要取舍、要調(diào)整，而有一些可能就根本就實現(xiàn)不了，就是原來傳統(tǒng)的一些邏輯在大數(shù)據(jù)平臺根本就不支持，我們要怎么處理。這是我這幾年工作中，一定會面臨到這個問題，就是中間這種遷移過程中，要的落地的一個解決方案怎么辦？就是業(yè)務模型的轉(zhuǎn)換，數(shù)據(jù)邏輯的轉(zhuǎn)換，這個非常麻煩。

?

只有你對兩種架構(gòu)都有充分了解，同時你對這個業(yè)務模型也很了解的情況下，你再積累一定的項目經(jīng)驗，比如說我要去對某一個公司企業(yè)的不同模型進行升級或者叫進行遷移，這里我說一下我自己的經(jīng)驗，其實一部分企業(yè)的運氣，比如說某家企業(yè)要做這個遷移，他如果剛好能找到這么一個有經(jīng)驗的項目經(jīng)理，中間可能不順利，但也會最終能遷遷移成功

?

但是多數(shù)是找不到一個這種懂多種平臺架構(gòu)，又有一兩個完整遷移項目的當經(jīng)理去負責這個項目，那更多的這種情況下，他更多的是做取舍，只能遷移一部分功能，也就是老的數(shù)據(jù)倉庫平臺繼續(xù)運行，我們有一些功能，因為遷移不了，但是又是非常核心的功能，能拋棄啊，那我就留在原有的數(shù)倉平臺繼續(xù)運行，那么這就給后期的運維人員留下很大的兩塊麻煩。

?

9、勝任數(shù)倉建模工程師這份工作應該具備哪些能力？

作為數(shù)據(jù)倉庫建模工程師，對國內(nèi)任何一個公司的項目和他的對于這種人以及崗位的要求都是比較高的。

?

第一，要有基本的數(shù)據(jù)處理的能力。數(shù)據(jù)分析、語言能力、工具使用，一些基本都要掌握。我覺得如果去面試的，我都不去問這個，因為我認為你去應聘數(shù)據(jù)倉庫建模工程師這個職位，就應該具備數(shù)據(jù)處理的能力。

?

第二，一定要在某個行業(yè)或者某幾個行業(yè)承擔過相應建模的工作，如果做過某一個行業(yè)模型建模，那么要對這個行業(yè)的模型非常了解，以及業(yè)務邏輯的熟悉程度。比如剛才說通信行業(yè)，移動聯(lián)通、電信，你要清楚它都是埃森哲的標準三戶模型，包括現(xiàn)在雖然優(yōu)化到是5.0，但是他的模型也沒有大的變化。

?

如果說你是通信行業(yè)的建模工程師，就應該非常清楚他的三戶模型到底是什么。他的那么巨大的模型，幾百頁的說明，他都圍繞著三戶模型去開展出來的，衍生出來的很多的主題。第二塊就是你對這個業(yè)務模型、業(yè)務支持的能力。

?

第三，就是對于個模型想去落地的能力，可選的主流的產(chǎn)品，你要有一些了解。再有就是像我剛才說我建模工程師向上對接以及根據(jù)需求的向下對接。

?

這兩個對接工作如果你來應聘，你承擔過相關的工作，那這個時候我就想問一下，你去和需求工程師對接，和數(shù)據(jù)開發(fā)工程師對接的時候，都有哪些可行的方案，這些都是你的經(jīng)驗積累，很多項目、文檔是是有平移的。

?

像我做項目的時候，我自己就會生成很多的文檔，留給其他人去用。那我也會問你，你在文檔處理這一塊，自己的一些心得體會。因為建模工程師會生成大量的文檔。交流工作基于文檔，文檔是可視化很強的東西，這個要求非常高。

?

因為文檔這個東西如果說只有你讀得懂，那別的工程師看不懂，這樣的建模工程師其實也不合格，因為這說明他能吸收，他沒有辦法輸出。

?

基本上這三點如果能滿足，其實就可以去承擔一個項目組的數(shù)據(jù)建模工程師的工作。

?

從事數(shù)據(jù)倉庫建模是因為我之前有一定的業(yè)務基礎，所以我做我去切到模型這塊沒有那么難。對于從事數(shù)據(jù)倉庫建設各個流程工作的人員中，承擔需求收集分析崗位的工程師，同時具有一定的數(shù)據(jù)處理能力的話，你去轉(zhuǎn)換為一個輔助建模工程師，比較容易，門檻比較低一些，相對來說也可能對于他個人來講也比較容易。

?

10、對于轉(zhuǎn)行轉(zhuǎn)崗想找一個大數(shù)據(jù)開發(fā)相關的工作的同學，老師有什么建議？

通過一些對比數(shù)據(jù)可以看到大數(shù)據(jù)崗位的薪資待遇比5年前降了一個檔，但是他的薪資依然不低，所以不管你是在二三線城市，還是在北上廣，大數(shù)據(jù)崗位的發(fā)展和前途還是不做的。

?

從個人該要準備的內(nèi)容來說，想切入到大數(shù)據(jù)平臺，那么我覺得對于語言這一塊還是要準備，比如說主流的語言掌握些程度。

?

同時對于一些主流的大數(shù)據(jù)平臺，能夠比較熟練的部署，經(jīng)常做一些實驗。比如有一些企業(yè)他就有一些大數(shù)據(jù)平臺的環(huán)境。這個時候盡量去熟悉操作一下國內(nèi)的國外的大數(shù)據(jù)平臺的主流和環(huán)境。

?

因為不管是做開發(fā)還是做架構(gòu)，如果不了解這個平臺或者，根本就應聘不了這份工作，所以一定要去做這種知識的積累，包括語言、產(chǎn)品的積累。

?

你如果只熟悉某一款或者某兩款制度都不一定行，你要對于國內(nèi)國外比較主流的幾款平臺都要了解，都要接觸到，這些部署有了這樣的一些基礎之后，你再結(jié)合你自己的一些項目經(jīng)驗，去應聘一個大數(shù)據(jù)平臺開發(fā)工程師的工作的時候才比較有底氣。

?

這是說有底氣了，但是如果一些項目他對于大數(shù)據(jù)開發(fā)工程師要求得更高，比如說你要有一定的業(yè)務邏輯，通過通信、金融或者保險行業(yè)遷移過來的這種大數(shù)據(jù)倉庫，那你還有相應的業(yè)務知識也要做一些儲備，集合基礎支持，這樣去應聘成功的可能性更高一點。

?

11、如何看待PMP培訓認證和敏捷管理體系這類認證證書的價值，對于提升個人能力方面，老師有什么建議嗎？

我自己其實對認證本身不是特別喜歡，因為太功利。提到說這些認證，比如說PMP或者說是敏捷管理的認證，或者說是一些其他的語言類的這種認證我也考過。

?

說實話從能力的角度上講，對于你個人薪資的提升的角度上講，不會有很大幫助。不要覺得好像我上月考了一個什么什么證，我下個月薪資就漲了，我覺得這個想法太幼稚，不可能在你的能力上或者說你工作上體現(xiàn)出來。

?

那你考這些認證對你的有什么意義呢？薪資上不會有，短期內(nèi)不會有太大的幫助。但可能會有一個個人學習能力上的提升，我覺得是這樣。你如果想考一個認證，或者說是oracle的這個OCP或者OCM 這種認證的話，他是對于你能力的一個提升，因為最終你通過考試，肯定要準備一個月左右，那你之前肯定要準備兩三個月的這種能力，估計要等大概3個月，基本上3個月考完。說實話這種不是太難，你只要認真的去準備，基本三個月可以搞定。

PMP： PMP指的是項目管理專業(yè)人士資格認證。它是由美國項目管理協(xié)會（Project Management Institute(簡稱PMI)）發(fā)起的，嚴格評估項目管理人員知識技能是否具有高品質(zhì)的資格認證考試。

OCP：Oracle數(shù)據(jù)庫認證專家（Oracle Certified Professional）是Oracle公司的Oracle數(shù)據(jù)庫DBA（Database Administrator? 數(shù)據(jù)庫 管理員 )認證課程，通過這個考試，說明此人可以管理大型數(shù)據(jù)庫， 或者能夠開發(fā)可以部署到整個企業(yè)的強大應用。

OCM：Oracle Certified Master(OCM) 大師認證資質(zhì)是Oracle認證的最高級別。此認證是對技術、知識和操作技能的最高級別的認可。Oracle認證大師是解決最困難的技術難題和最復雜的系統(tǒng)故障的最佳Oracle專家人選。

?

這個認證考試主要是讓你對于管理的流程有一個非常清晰的了解，有一天如果你真的去承擔一個這樣角色的時候，你心里非常清楚，這個項目幾個人 ，每個人標準怎么樣，也很清楚他對你未來來的幫助。

?

認證也就是對于你去學習的過程中有一個促進。因為你想通過他認真去證明你了解了他的整個體系和架構(gòu)。這個我覺得這是我考了這么幾個認證的一個心理體會。因為我其實考完第一個認證，我就知道這種認證對于我曾經(jīng)想去通過他去提升薪資待遇的這種想法或者晉升的想法，沒有什么實質(zhì)上幫助。

?

當然如果你是在這種體制內(nèi)的企業(yè)國企，那可能就不一樣了。國企更看重的是你要有一個資質(zhì)能力。私企的話相反只看能力，而你的認證這個東西在私企更多的一個敲門磚，他不一定能敲得開，因此可以把考認證類的證書的經(jīng)歷看做自己知識能力儲備的方式。

?

12、在數(shù)字轉(zhuǎn)型過程中，數(shù)據(jù)從業(yè)者價值發(fā)生了如何的轉(zhuǎn)變？

形容我以前的工作更多的是藏在下面就做一下數(shù)據(jù)處理，包括DBA。如果你不來找我，或者說應用沒問題，沒有人會知道后來有一個人在這邊工作，后來好像從數(shù)據(jù)的底層慢慢往上走。

?

包括現(xiàn)在提到這個數(shù)據(jù)化轉(zhuǎn)型、電商數(shù)字賦能，以前我們做數(shù)據(jù)處理這塊很被動，我們就是提供一些數(shù)據(jù)，數(shù)據(jù)提交出來到底有什么價值不知道，因為我也不使用數(shù)據(jù)，所以我也不關心這個。

?

但是現(xiàn)在我們更多的就是這種注數(shù)據(jù)的價值，對于業(yè)務上數(shù)據(jù)的意義，數(shù)據(jù)對于企業(yè)未來規(guī)模、未來決策的這種影響等等，這一系列的東西都是和數(shù)據(jù)有關。

?

如果說每一個具體的數(shù)據(jù)開發(fā)工程師，可能他關心不到這個能力。但是如果你作為一個產(chǎn)品經(jīng)理，尤其是數(shù)據(jù)產(chǎn)品，或者說數(shù)倉項目的負責人，不僅僅說是生產(chǎn)工具，你甚至要通過數(shù)據(jù)要產(chǎn)生數(shù)字化的價值，這量化你這個價值到底體現(xiàn)在哪些地方，即每一年的給業(yè)務貢獻的這種價值比是多少？

?

我們通過這一系列的前沿的指標去衡量以前的這種同等的一些數(shù)據(jù)平臺的價值。因為以前我們這種崗位更多的是叫消耗價值。企業(yè)產(chǎn)生的創(chuàng)造了利潤，不斷投入，好像沒有產(chǎn)出。現(xiàn)在我們更多的是我們投入當前要繼續(xù)，但是也要給產(chǎn)出具體的價值。

?

比如在今年你的數(shù)據(jù)部門產(chǎn)生相應的價值，而且和相應的業(yè)務掛鉤，任何部門要認可你的價值，對他的業(yè)務有所促進。比如他今年的業(yè)務增長了3.5%，1.2%，可能是由我們數(shù)據(jù)部門直接或者間接產(chǎn)生的。我們以前提供數(shù)據(jù)的時候，更多的就是提交給你，或者你跟我說你要什么我就給你。但現(xiàn)在我們更多的是我想給你提供什么能夠促進你對業(yè)務的一些正向的發(fā)展。包括給領導的一個決策，更好的方便領導按照數(shù)據(jù)進行決策，這都是我們處于數(shù)據(jù)部門進行這種數(shù)字化的轉(zhuǎn)變角度方向。

?

13、和五六年前對比，數(shù)據(jù)倉庫建模工程師工作內(nèi)容有挺大的轉(zhuǎn)變，主要原因是什么，老師可以分享一下你的看法嗎？

這個我覺得有幾個因素吧，我自己的親身體會。一個是產(chǎn)品線的多樣化。像剛才我也有提到過，在十年前吧，我們建設數(shù)據(jù)倉庫其實可取平臺或者產(chǎn)品非常有限，幾乎就是被兩家或者三家所壟斷，他們做的很成熟，確實做的很好。

?

那么我們也就不存在選型的問題了，因為你選的就是一家或者2家，而且這兩家很像，那也就無所謂了。但是現(xiàn)在由于很多因素，第一國產(chǎn)化的原因，導致我們國產(chǎn)化有很多的產(chǎn)品，應運而生了很多新的產(chǎn)品。

?

這些產(chǎn)品由于踩在西方企業(yè)的這種肩膀上，它的發(fā)展很快，確實功能也很強大。再加上這種政治上國產(chǎn)化的要求、信息化和安全化的要求。我們企業(yè)尤其是國內(nèi)的本土企業(yè)，他必須要進行這種轉(zhuǎn)型，就會保持他原有的這種穩(wěn)定的、固定的這種產(chǎn)品進行要進行切割。哪些選擇國產(chǎn)化，哪些還要繼續(xù)使用西方的一些產(chǎn)品。那么這是一個因素，會導致他產(chǎn)品線細分，產(chǎn)品線上的細分勢必會導致工作量的強大，那么原來一個人高度維護一個品牌，其實這都沒有問題，但是現(xiàn)在一個平臺恐怕就變成了兩個品牌，就是說是兩個平臺加一個工具。

?

那這種他一個人就捉襟見肘，就希望兩個人來維護不同的平臺空間的交互工作。慢慢的這種模式其實在各個軟件公司的被接受，也就慢慢的適應這種模式，崗位上就是細分出來了。

?

一旦崗位細分出來了，其實他會一定熱到學校，尤其是畢業(yè)生。他對于這種崗位的選擇，這種相互的影響，他就知道企業(yè)其實是分不同的崗位，還有要應聘到具體的某一個，企業(yè)也是把你放到一個崗位的某一個環(huán)節(jié)上去。這種相互的作用會導致倉庫模型工程師細分出來需求、模型、產(chǎn)品等崗位。