? ? ? ? 很多粉絲私信我最近干什么去了，我才知道我快一個(gè)月沒有更新公眾號(hào)。

????????這個(gè)月我干的最多的是思考如何重構(gòu)爛尾的BI項(xiàng)目，其次是給學(xué)員遠(yuǎn)程解決問題，最后才是休了5天可憐巴巴的產(chǎn)假。

關(guān)于BI項(xiàng)目

????????首先我講一下重構(gòu)爛尾的BI項(xiàng)目，關(guān)注的粉絲應(yīng)該知道我目前所在的項(xiàng)目是前無文檔后無支持，也就是這個(gè)項(xiàng)目經(jīng)歷了三撥人以后我過來接手的沒有任何項(xiàng)目文檔、另外公司的ERP開發(fā)人員對(duì)我們的支持就是給一個(gè)ERP源碼后臺(tái)我們?nèi)タ催壿嫞抑荒鼙硎窘邮苓@個(gè)挑戰(zhàn)快一年了。公司業(yè)務(wù)變化太快，以前的舊報(bào)表需要大量調(diào)整，又要面對(duì)這個(gè)爛尾工程，又要拿成果出來評(píng)價(jià)業(yè)績。

面對(duì)這種局面還真的是有點(diǎn)不知道哪天被優(yōu)化了。挑戰(zhàn)歸挑戰(zhàn)、優(yōu)化歸優(yōu)化，先把項(xiàng)目重構(gòu)好在說。

????????對(duì)于這個(gè)爛尾項(xiàng)目，在我轉(zhuǎn)正后的第一個(gè)月我就開始規(guī)劃了，第一步就是寫了數(shù)據(jù)倉庫表監(jiān)控，也就是記錄所有庫所有表每天的數(shù)據(jù)條數(shù)，然后算出每個(gè)表的每天增量和每個(gè)庫的每天增量、同時(shí)算出一年來數(shù)據(jù)條數(shù)沒有變過的表以及一年來數(shù)據(jù)條數(shù)一直都是零的表，這里你可以充分發(fā)揮你的想象力和創(chuàng)造力。【我們能學(xué)到知識(shí)，卻埋葬了最寶貴的創(chuàng)造力】（如下圖）

? ? ? ? 我的想法是先干掉行數(shù)一年來一直是零的表，其實(shí)不是刪掉就是改個(gè)表名而已。在把后面的慢慢整合……。數(shù)據(jù)倉庫服務(wù)器上有1400多張表，很少有表做了字段說明，基本上我們對(duì)于ODS層的表從哪個(gè)系統(tǒng)來的都要打開ETL工具一個(gè)一個(gè)的找，完全是一個(gè)黑箱，真的是要人命啊 坑太多了只能摸著石頭過河。

后來我發(fā)現(xiàn)ERP系統(tǒng)和手機(jī)端工具 的數(shù)據(jù)庫有字段說明，只是我們前面幾撥人都是非專業(yè)人事，有些還是ERP開發(fā)人員來做的數(shù)據(jù)倉庫里面的表，導(dǎo)致庫里面表的字段一個(gè)都沒有寫。

????????為了解決表以及字段說明缺失問題，我特意在工具上開發(fā)了一個(gè)功能《源映射ODS層》，就是只要你知道了這個(gè)ODS層表從哪個(gè)源系統(tǒng)的表過來的，就會(huì)自動(dòng)匹配上源系統(tǒng)里面的字段說明，這樣在梳理的時(shí)候找到了對(duì)應(yīng)表就能輕松匹配上并且記錄到系統(tǒng)中。這個(gè)功能后期會(huì)擴(kuò)展成ETL自動(dòng)化（如下圖）

? ? ? ? 關(guān)于公司的指標(biāo)體系，不管是從技術(shù)向業(yè)務(wù)推導(dǎo)，還是從業(yè)務(wù)向技術(shù)推導(dǎo)，最終的開發(fā)責(zé)任都會(huì)落在BI項(xiàng)目的頭上，數(shù)據(jù)業(yè)務(wù)化是走的路。從技術(shù)到業(yè)務(wù)就是先定主題域，在現(xiàn)有的數(shù)據(jù)結(jié)構(gòu)中折騰，不管怎樣都要精通業(yè)務(wù)才行。從業(yè)務(wù)到技術(shù)就是以業(yè)務(wù)流程為主線，串聯(lián)業(yè)務(wù)單元、業(yè)務(wù)環(huán)節(jié)、業(yè)務(wù)活動(dòng)，還是要精通業(yè)務(wù)才行。所以整體來說數(shù)據(jù)工程師、BI工程師、數(shù)據(jù)分析師，不管什么頭銜必須懂業(yè)務(wù)、懂技術(shù)。指標(biāo)體系并不能一個(gè)人完成，必須深度業(yè)務(wù)參與，這段時(shí)間公司層面牽頭梳理指標(biāo)體系，趁這次機(jī)會(huì)我在工具里面開發(fā)了一個(gè)功能《指標(biāo)開發(fā)映射》，這里已經(jīng)實(shí)現(xiàn)了業(yè)務(wù)寫業(yè)務(wù)的指標(biāo)概念和技術(shù)會(huì)映射好指標(biāo)如何開發(fā)出來的，做了技術(shù)口徑和業(yè)務(wù)口徑的統(tǒng)一，這就是標(biāo)準(zhǔn)，做到未來不爛尾。指標(biāo)體系梳理下來也有好幾百個(gè)指標(biāo)。

? ? ? ? 一切的矛盾和亂象都源于需求和元數(shù)據(jù)；只有管理好了需求和元數(shù)據(jù)才能讓數(shù)字化順心，要不然只能說Old(老)鐵數(shù)字化很糟心。有時(shí)候業(yè)務(wù)部門上個(gè)月提的需求這個(gè)就不記得了，經(jīng)常過來扯皮，一不做二不休我干脆就到工具里面開發(fā)個(gè)功能《需求管理》，記錄他們的需求同時(shí)記錄我們的開發(fā)過程【這個(gè)需求是哪些庫中的表提供的數(shù)據(jù)以及特殊的邏輯條件】已經(jīng)需求解決什么業(yè)務(wù)問題，后期改需求和維護(hù)都能看到歷史需求，下圖是需求管理、元數(shù)據(jù)管理這里我就不展示了。

? ? ? ? 工具上的《數(shù)據(jù)庫表結(jié)構(gòu)》、《SSIS執(zhí)行監(jiān)控》、《SSAS運(yùn)行情況》都是一些舊功能，使用的非常成熟，有歷史文章可以看這里就不多介紹，另外《數(shù)據(jù)分發(fā)器》這里也不介紹就是一個(gè)配置SQL和郵箱就可以從數(shù)據(jù)倉庫讀取數(shù)據(jù)存入Excel數(shù)據(jù)文件發(fā)送給用戶，可以定時(shí)發(fā)送，這個(gè)也給我省下了很多時(shí)間。

????????整體來說團(tuán)隊(duì)慢慢的使用這個(gè)工具工作效率有了明顯提升，比如開發(fā)一張報(bào)表需要找的素材就是元數(shù)據(jù)，以及需求分析都在這個(gè)工具內(nèi)很好的解決了。工具還有很多模塊和大量的優(yōu)化工作。

關(guān)于這個(gè)工具開發(fā)的文章

《低代碼數(shù)據(jù)倉庫開發(fā)平臺(tái)》原型設(shè)計(jì)

關(guān)于學(xué)員解決問題

????????其實(shí)這是一個(gè)學(xué)習(xí)態(tài)度和能力問題，首先得自己一步一步跟著去操作了我才有遠(yuǎn)程給你解決問題的意義，這是個(gè)態(tài)度問題去操作了我才能跟你同頻，另外一點(diǎn)估計(jì)我講的這套課程不適合于初學(xué)者，缺少基礎(chǔ)知識(shí)及理論很難理解我為什么要這樣做、甚至很難理解我還可以如何做，我的這些做事方法可以提煉模板、模型、框架，甚至可以做成相應(yīng)的工具和產(chǎn)品。所以自己動(dòng)手、主動(dòng)思考多么的重要，與紙上得來終覺淺,絕知此事要躬行意思差不多。有學(xué)員問的問題深度就知道認(rèn)真學(xué)過、自己動(dòng)手做過、自己思考過。其次是能力問題，我覺得能力大家都差不多，因?yàn)槟芰Χ际强梢酝ㄟ^后天訓(xùn)練獲得的。

????????最后送大家一點(diǎn)初級(jí)雞湯，你只要堅(jiān)持，不急不躁不求大，一點(diǎn)一點(diǎn)的來你就能成功。而高級(jí)雞湯告訴要升級(jí)你的思維，你才能成功；這個(gè)要到得到APP、混沌大學(xué)去學(xué)了，那些我不會(huì)。

最后關(guān)于這篇文章的源碼無償分享給大家，這是測(cè)試版

接到自動(dòng)生成500份Excel和PPT的需求

下載地址：

https://pan.baidu.com/s/1wkTNXGDYApG3PQ3nT_Ls8w?pwd=nd6d?

提取碼: nd6d?