我有時(shí)和商業(yè)智能BI項(xiàng)目上的同事閑聊，問他們?cè)谏虡I(yè)智能BI項(xiàng)目建設(shè)過程中，你覺得什么挑戰(zhàn)性最大？有的人說我最怕業(yè)務(wù)邏輯太復(fù)雜，有的人說最怕用戶的需求不明確，也有的人說復(fù)雜的業(yè)務(wù)場(chǎng)景不知道如何通過技術(shù)去實(shí)現(xiàn)，挑戰(zhàn)性最大。大家說的都很有道理，那我來談?wù)勎覀€(gè)人覺得商業(yè)智能BI項(xiàng)目開發(fā)過程中什么問題挑戰(zhàn)最大，我認(rèn)為是數(shù)據(jù)質(zhì)量的問題。

為什么數(shù)據(jù)質(zhì)量問題挑戰(zhàn)最大

5、6年前我還在從事商業(yè)智能BI開發(fā)的時(shí)候碰到過一個(gè)項(xiàng)目，業(yè)務(wù)并不復(fù)雜，就是統(tǒng)計(jì)一些時(shí)間段的時(shí)間差額，最后算出每個(gè)用戶在上面消耗的時(shí)間，做商業(yè)智能BI統(tǒng)計(jì)分析。但是在實(shí)際開發(fā)過程中發(fā)現(xiàn)，即使把業(yè)務(wù)規(guī)則理解的再透徹，開發(fā)完成之后到實(shí)際的生產(chǎn)環(huán)境跑數(shù)據(jù)，總有些數(shù)據(jù)對(duì)不上。在測(cè)試開發(fā)環(huán)境下反復(fù)的檢查業(yè)務(wù)邏輯，都沒有問題，我就陷于了深深的苦惱。

?

這個(gè)商業(yè)智能BI項(xiàng)目到底是什么環(huán)節(jié)出現(xiàn)了問題，是ETL跑的時(shí)候丟數(shù)據(jù)了？還是我的代碼有問題？還是我對(duì)業(yè)務(wù)理解的不夠？弄得我開始對(duì)自己的能力開始懷疑了。應(yīng)該不會(huì)啊，我能力這么強(qiáng)，在商業(yè)智能BI項(xiàng)目上從來沒有失手過，不至于連這個(gè)搞不定。在反復(fù)的自我檢查之后，我基本上可以斷定，是生產(chǎn)環(huán)境的數(shù)據(jù)有問題。

因?yàn)樵谟行?/span>商業(yè)智能BI項(xiàng)目上，開發(fā)測(cè)試和生產(chǎn)環(huán)境是完全隔離的，開發(fā)測(cè)試環(huán)境下的數(shù)據(jù)是有限的、不完整的，沒有生產(chǎn)環(huán)境那么全。于是，申請(qǐng)看看商業(yè)智能BI項(xiàng)目分析生產(chǎn)環(huán)境的實(shí)際數(shù)據(jù)，結(jié)果一看，就發(fā)現(xiàn)問題了，就是生產(chǎn)環(huán)境的數(shù)據(jù)存在問題，并且問題還很大。

如何處理數(shù)據(jù)質(zhì)量問題

商業(yè)智能BI項(xiàng)目中，一個(gè)正常的數(shù)據(jù)邏輯，在生產(chǎn)環(huán)境下反復(fù)梳理，結(jié)果梳理出了24種異常數(shù)據(jù)的情況。原因是怎么造成的呢？ 就是在業(yè)務(wù)系統(tǒng)中，有一個(gè)業(yè)務(wù)處理的流程，比如 A、B、C、D，正常情況下它應(yīng)該是一個(gè)線性的、不可逆的操作流程。

但是有些新用戶在實(shí)際使用過程中，比如處理完A節(jié)點(diǎn)下面的N項(xiàng)操作，就到了B節(jié)點(diǎn)，B節(jié)點(diǎn)處理完了就到了C節(jié)點(diǎn)。按道理，到了C節(jié)點(diǎn)是不可能回去重新對(duì)A節(jié)點(diǎn)的業(yè)務(wù)做任何操作處理。結(jié)果在系統(tǒng)中就出現(xiàn)了這樣的問題。就導(dǎo)致了在后臺(tái)數(shù)據(jù)庫(kù)中的數(shù)據(jù)節(jié)點(diǎn)序列的順序在某些場(chǎng)景下完全是錯(cuò)亂的，存在大批量的異常操作數(shù)據(jù)，讓商業(yè)智能BI項(xiàng)目的數(shù)據(jù)質(zhì)量出現(xiàn)了問題。

那么在商業(yè)智能BI統(tǒng)計(jì)分析的時(shí)候，這些異常操作數(shù)據(jù)產(chǎn)生的時(shí)間序列就不應(yīng)該被計(jì)算進(jìn)來。當(dāng)然，實(shí)際上的場(chǎng)景比我描述的要更加復(fù)雜。我大概描述一下，就是這里有一排房間，從左往右房間數(shù)量是無(wú)限的。

每個(gè)房間放了一個(gè)數(shù)據(jù)，你每往前走一個(gè)房間，都要記住之前每個(gè)房間做過什么事情，有什么樣的數(shù)據(jù)。等到了第N個(gè)房間的時(shí)候，看到了一個(gè)數(shù)據(jù)，這個(gè)數(shù)據(jù)正好能和你之前走過的房間的某一個(gè)數(shù)據(jù)形成一個(gè)正確的時(shí)間序列，這樣就需要記住之前每一個(gè)房間放的是什么，然后把這兩個(gè)數(shù)據(jù)的時(shí)間差額給算出來，記下來。

?

再往前走的時(shí)候，又發(fā)現(xiàn)一個(gè)數(shù)據(jù)，這個(gè)數(shù)據(jù)和之前房間的某一個(gè)數(shù)據(jù)又對(duì)應(yīng)上了，那么你上次完成的計(jì)算條件就不能成立了，就又需要重新組合一次。這個(gè)過程的處理非常復(fù)雜，我們把所有的場(chǎng)景全部梳理出來，有24種。拿這些場(chǎng)景和商業(yè)智能BI項(xiàng)目的業(yè)務(wù)人員去確認(rèn)，業(yè)務(wù)人員基本上也弄不清楚，無(wú)法確認(rèn)，因?yàn)閿?shù)據(jù)太錯(cuò)亂了，已經(jīng)超出他們對(duì)業(yè)務(wù)理解的范圍了。

但最終，通過反復(fù)的看數(shù)據(jù)，找場(chǎng)景，還是把業(yè)務(wù)規(guī)則給確認(rèn)了下來。最后到開發(fā)階段，就這一項(xiàng)工作，整整耗費(fèi)了我兩周的商業(yè)智能BI開發(fā)時(shí)間。純SQL和存儲(chǔ)過程是無(wú)法直接實(shí)現(xiàn)的，后來是寫了一段程序，再結(jié)合ETL和SQL才處理完畢。并且，模擬了一億條數(shù)據(jù)，對(duì)所有的場(chǎng)景進(jìn)行反復(fù)測(cè)試，沒有問題。到現(xiàn)在上線已經(jīng)很多年了，這個(gè)商業(yè)智能BI項(xiàng)目沒有出現(xiàn)過任何問題。

數(shù)據(jù)質(zhì)量問題處理思路

實(shí)際上，這個(gè)商業(yè)智能BI項(xiàng)目的問題是一個(gè)業(yè)務(wù)系統(tǒng)上的邏輯漏洞，在業(yè)務(wù)系統(tǒng)上很好調(diào)整。就是當(dāng)用戶操作到某一個(gè)節(jié)點(diǎn)的時(shí)候，前面已經(jīng)操作完成的節(jié)點(diǎn)不讓他們?cè)倩厝ゲ僮?，控制一下流程就可以了?/span>

那么在以往他們這樣反復(fù)的回頭操作，在業(yè)務(wù)流程上是不會(huì)出現(xiàn)太大問題，所以他們就忽略了商業(yè)智能BI項(xiàng)目的數(shù)據(jù)問題。這樣一來，在做商業(yè)智能BI數(shù)據(jù)統(tǒng)計(jì)分析的時(shí)候，就需要把這些問題給考慮進(jìn)去。結(jié)果把這個(gè)問題提交上去之后，供應(yīng)商還是國(guó)外的，說排到半年之后才能解決。所以，這個(gè)事情從業(yè)務(wù)系統(tǒng)上推進(jìn)不了，那就只能在商業(yè)智能BI層面來解決，但是所付出的代價(jià)就很大了。

所以，在業(yè)務(wù)系統(tǒng)建設(shè)過程中，很多問題不到數(shù)據(jù)層面，是無(wú)法發(fā)現(xiàn)很多潛在的問題的。因?yàn)橛脩粲袝r(shí)為了省事，也能用，這些問題他們平常不會(huì)意識(shí)到，因?yàn)閷?duì)他們?nèi)粘９ぷ鳑]有太大的影響。到了商業(yè)智能BI層面，由于數(shù)據(jù)需要被統(tǒng)計(jì)分析，一種業(yè)務(wù)規(guī)則對(duì)應(yīng)一種處理規(guī)則，是需要在開發(fā)過程中明確下來的。如果一種業(yè)務(wù)規(guī)則有N種特殊的數(shù)據(jù)處理場(chǎng)景，就需要對(duì)應(yīng)N種數(shù)據(jù)處理開發(fā)過程，是無(wú)法像業(yè)務(wù)人員那樣可以自動(dòng)忽略的，這個(gè)工作量就大了。

簡(jiǎn)單來說，在業(yè)務(wù)系統(tǒng)中這個(gè)問題的調(diào)整可能只需要半天的開發(fā)時(shí)間就完全可以調(diào)整完畢。對(duì)于數(shù)據(jù)邏輯來說，在數(shù)據(jù)質(zhì)量上的控制，越在源頭端控制，效果越明顯。這就是問題前置、程序前置處理。前面不處理，越往后放，后置處理，一旦進(jìn)行商業(yè)智能BI等涉及數(shù)據(jù)的項(xiàng)目，問題就變得就難上加難。

?

所以業(yè)務(wù)系統(tǒng)的一個(gè)小的數(shù)據(jù)質(zhì)量問題對(duì)商業(yè)智能BI而言可能就是需要投入巨大的時(shí)間和精力才能處理掉的，這就需要我們企業(yè)在業(yè)務(wù)系統(tǒng)的使用、操作、程序規(guī)范性上真正的要重視起來，可以極大的降低商業(yè)智能BI實(shí)施開發(fā)過程中的時(shí)間成本。包括之前碰到的多個(gè)系統(tǒng)的數(shù)據(jù)檔案信息不一致等問題，都是在業(yè)務(wù)系統(tǒng)規(guī)劃之初沒有提前規(guī)劃而導(dǎo)致的。

這些問題能不能在一開始的時(shí)候就完全避免，不能說絕對(duì)，但是一定是可以做到絕大部分情況下去避免掉的。這就需要我們企業(yè)的信息化部門要有很前瞻的判斷力，不僅僅要關(guān)注當(dāng)下系統(tǒng)的建設(shè)情況、建設(shè)質(zhì)量，也要預(yù)計(jì)好在未來部署商業(yè)智能BI系統(tǒng)擴(kuò)展、各系統(tǒng)銜接的時(shí)候可能會(huì)存在的問題，要有一個(gè)很清晰的規(guī)劃和預(yù)判力，這就需要有比較扎實(shí)的信息化項(xiàng)目開發(fā)、技術(shù)、項(xiàng)目管理、數(shù)據(jù)等綜合的意識(shí)和能力。