我們通常講到業(yè)智能BI數(shù)據(jù)同步的機制一般是T+1模式。就像炒股里面也是T+1，當天買入的股票，到下個交易日比如明天賣出。所以這個T，有的人理解為Today今天，或者Trade 交易日，都沒有問題。

如果像周末、節(jié)假日不交易的話，就理解為Trade交易日就好了。對商業(yè)智能BI而言，這個T可以理解為Today當天，T+1就是數(shù)據(jù)每天同步一次，現(xiàn)在看到的數(shù)據(jù)是頭一天的，明天看今天的數(shù)據(jù)。

所以，商業(yè)智能BI對數(shù)據(jù)的同步是有滯后性的，并非實時的，但這種方式是完全可以滿足絕大部分企業(yè)的商業(yè)智能BI訴求。

商業(yè)智能BI的實時性訴求

講到這我就想起我們以前去過的一家貿(mào)易流通的公司，某產(chǎn)品國內(nèi)總代，業(yè)務發(fā)展不錯。我們在講到商業(yè)智能BI的T+1數(shù)據(jù)同步機制的時候，對方的CIO和老板就追著這個問題不放。非要做到頁面數(shù)據(jù)完全實時，秒級實時，要搞成像天貓、雙11那個大屏一樣，問你們能不能做。

這個問題不是很好正面回答，完全實時是非常有難度的，誰都不敢完全保證。因為這個不是業(yè)務系統(tǒng)，這個是商業(yè)智能BI分析系統(tǒng)，分析系統(tǒng)就是有取數(shù)過程的時間損耗和指標計算過程的時間損耗的。所以我們的顧問就沒有正面回應，就還在解釋商業(yè)智能BI是如何實現(xiàn)的。

對方聽的可能沒有耐心了，就直接打斷說你們不要解釋這些東西，就回答我們能不能做就行了，我們就要實現(xiàn)這個功能。你們商業(yè)智能BI的產(chǎn)品技術要是做不到，就直接說，不要遮遮掩掩。要是能實現(xiàn)，錢不是問題。

現(xiàn)場聽的這種感覺其實不是很好，并且特別是說錢不是問題的往往到最后都是錢的問題。出于尊重客戶，我們還是答應回去碰下技術實現(xiàn)方案再報價。我們后面了解到這家公司又找了其它幾家大數(shù)據(jù)商業(yè)智能BI公司，包括一家大廠，也是這么提要求的。

由于客戶也沒有明確的預算，那大家該怎么報就怎么報了，結(jié)果報完之后客戶反饋太貴了不做了。我們就填報、幾個大屏、十來張張報表你們搞的這么貴。是啊，就這么一點東西，你非要搞什么實時、搞大數(shù)據(jù)架構(gòu)，還評估軟硬件資源，這種就是典型的瞎折騰。

這家公司的CIO也成為了整個公司信息化建設的瓶頸，因為很明顯很多基礎性的技術性原理沒有搞明白，商業(yè)智能BI講解了也還是沒有聽懂。對于CEO堅持的錯誤想法也沒有進行及時的糾正，對需求和投入沒有做出充分的評估，這種溝通對大家雙方都是一種嚴重的時間和精力上的浪費。

采用T+1模式

我來講下為什么商業(yè)智能BI采用T+1模式，它的數(shù)據(jù)處理過程大概是什么樣子的。

商業(yè)智能BI的數(shù)據(jù)倉庫架構(gòu)本身就決定了對數(shù)據(jù)的實時性要求沒有那么高，ETL的過程不可或缺，Extraction 抽取、Transformation 轉(zhuǎn)換、Loading 加載，這三個環(huán)節(jié)本身就是有時間損耗的。

首先，Extraction抽取，這些業(yè)務數(shù)據(jù)要使用SQL或者ETL工具從業(yè)務數(shù)據(jù)庫查詢并通過網(wǎng)絡傳輸加載到商業(yè)智能BI數(shù)據(jù)倉庫，視數(shù)據(jù)量的大小這個查詢和加載會花費一定的時間，比如五分鐘、十分鐘甚至更長。這只是其中的一個查詢，所有查詢和加載全部執(zhí)行完短則幾分鐘，長則小時算很正常。

第二，數(shù)據(jù)加載到商業(yè)智能BI數(shù)據(jù)倉庫中了，數(shù)據(jù)要被加工處理，比如去重、合并、循環(huán)計算等等算出各種指標放到數(shù)據(jù)倉庫不同的層里面，這個數(shù)據(jù)處理的過程在商業(yè)智能BI里是最耗時間的，幾十分鐘到幾個小時。指標越多，業(yè)務邏輯越復雜，計算處理花的時間越長。?這個就是ETL處理的核心，Transformation 轉(zhuǎn)換。

第三，Transformation 轉(zhuǎn)換處理后的數(shù)據(jù)要寫入到目標表比如商業(yè)智能BI中維度表、事實表里面，即Loading 加載。

ETL是商業(yè)智能BI數(shù)據(jù)倉庫的數(shù)據(jù)處理關鍵，其中E是數(shù)據(jù)源頭，T是中間數(shù)據(jù)計算處理的過程，L是將計算結(jié)果寫入、加載到目標表。

大家看看，把這三個階段的時間加起來，這個時間周期是不是很長，是沒有辦法實現(xiàn)商業(yè)智能BI的實時分析的。

并且很多時候白天業(yè)務系統(tǒng)有人可能會用的比較晚，有些數(shù)據(jù)業(yè)務部門更新的時間也比較晚。所以大部分情況下，商業(yè)智能BI都會選擇在晚上12點以后執(zhí)行ETL的調(diào)度從業(yè)務數(shù)據(jù)源將12點以前的所有已更新的數(shù)據(jù)同步過來處理。

所以，通常商業(yè)智能BI在晚上先把前兩個階段的事情給處理了，所有的數(shù)據(jù)都抽取、加工、計算完了，都提前存放在數(shù)據(jù)倉庫里。第二天頁面在刷新的時候直接訪問的是已經(jīng)計算好的數(shù)據(jù)倉庫的數(shù)據(jù)，這樣就很快了。

如果大家碰到再有人問到商業(yè)智能BI數(shù)據(jù)的實時性的時候，就可以把這個過程講的對方聽一聽，正常情況下大家應該還是可以聽明白這個過程的。

那有沒有什么方式能夠?qū)崿F(xiàn)指標在商業(yè)智能BI可視化頁面上的實時分析、實時展現(xiàn)呢，或者準實時也可以啊，歡迎關注更新，下篇文章我們再來介紹。

http://www.packingdata.com/views/article/article.html?articleId=3F6C4548F2EEA2996BB571249A798784

http://www.packingdata.com/