系統(tǒng)面臨的現(xiàn)實問題：大數(shù)據(jù)團隊需要訂單數(shù)據(jù)，該怎么辦？

1、高大上的大數(shù)據(jù)，不識廬山真面目

小猛早早的就來上班了，昨天吸收了明哥講的關于系統(tǒng)和第三方系統(tǒng)耦合的問題，感覺真是意猶未盡。

小猛心里默默的感嘆，雖然自己沒能直接進入BAT等大廠去工作，但是至少能一畢業(yè)就來一個快速發(fā)展的互聯(lián)網公司，在里面可以接觸到真實的互聯(lián)網系統(tǒng)架構面臨的問題，感覺自己很幸運。

跟前兩天一樣，明哥一看到小猛，立馬又把他拉到小會議室里去了。

今天明哥并沒有一進會議室就唰唰畫出來一張流程圖，而是問了小猛一個問題：你知道我們公司的大數(shù)據(jù)團隊是干什么的嗎？

小猛一聽就來興趣了，興奮的說，大數(shù)據(jù)啊，前幾年就在國內火起來了，聽著特別的高大上，還有現(xiàn)在人工智能啊之類的。

但是。。。大數(shù)據(jù)到底是干什么的？這個問題我還真的沒考慮過，就是聽著特別高大上，新聞都老說高端大數(shù)據(jù)什么的，連老家村子里的一些親戚都聽說過這個高大上的字眼。

明哥哈哈的笑了起來：你連大數(shù)據(jù)都不知道是干嘛的，還這么興奮干什么呢！我今天來給你講講，大數(shù)據(jù)具體是干什么的，因為今天我們要講的訂單系統(tǒng)問題，是跟大數(shù)據(jù)團隊有關系的。

2、大數(shù)據(jù)到底是干嘛的？

舉個例子，咱們公司是做電商業(yè)務的，說白了就跟以前你老家門口的商店是一個性質。要準備很多的貨物，然后在架子上陳列出來，然后村子里的人沒事兒了就來逛一逛，看到喜歡的就放到購物框里去，最后拿到收銀臺那兒去結賬。

我們現(xiàn)在有一個電商APP，很高大上的樣子，其實本質是不是跟村門口的商店是一樣的？

我們要在倉庫里準備商品，然后我們要在APP里陳列商品，接著還得打廣告吸引很多人來APP里看看。

如果有人看到喜歡的，就加入自己的購物車，最后對購物車下訂單，跳轉到支付系統(tǒng)進行結賬，然后我們就通過物流公司把貨物發(fā)送給用戶了。

所以現(xiàn)在我們考慮一下，假設你要是這個電商公司的老板，你每天會想些什么事情？

首先，我每天去公司第一眼，必須得知道昨天一共賣了多少營業(yè)額！這個是我們公司運營至關重要的問題，因為我們必須不停的賣貨，賣很多很多的貨出去，營業(yè)額做的很高，才能養(yǎng)活公司幾百個人。

但是光有營業(yè)額還不夠，我還想知道昨天一共有多少個用戶在我們這里購買了商品？一共有多少筆訂單？每個商品分別賣了多少件？哪個商品是最火爆賣的最好的？我們的APP昨天有多少人打開了？打開APP的人里有多少人下訂單購物了？

此外，我還想知道，我們昨天的毛利潤一共有多少（就是營業(yè)額扣除掉商品本身的成本之后的毛利，如果你用毛利再減去公司運營的成本，比如300個員工的工資，公司房租、水電等等，再交完稅，就是老板和股東的凈利潤了）？

還沒完，我還得知道，昨天下訂單購物的人里，老用戶有多少人（就是以前在你這里注冊過或者購物過的，這些算老用戶）？新用戶有多少人（就是第一次下載你的APP，注冊之后立馬就購物的用戶）？

當老板知道這些數(shù)據(jù)之后，才能繼續(xù)去考慮公司的運營策略。

比如老板拿到了用戶量這個數(shù)據(jù)，覺得用戶量還是太少了，要抓緊投放廣告，多拉一些人來購物。

或者老板可能覺得爆款的商品太少了，大部分商品業(yè)績平平，說明沒有吸引消費者，那么就得多去選擇一些符合用戶喜好的爆款商品。

又可能老板發(fā)現(xiàn)很多人打開了APP，但是不知道為什么就是沒下訂單，那就得多放一些吸引人的商品在首頁了。

因此，只要聽明白了上面的這段描述，你一定就能理解什么是大數(shù)據(jù)，以及大數(shù)據(jù)團隊是干什么的了。

很簡單，上面說的老板要每天上班第一件事情要了解的那一大堆的數(shù)據(jù)，其實就是大數(shù)據(jù)，只不過互聯(lián)網公司跟村門口的小賣鋪有一點區(qū)別。村里的小賣鋪只要服務好村里100多個人就可以了，但是我們作為一個面向互聯(lián)網的電商APP，要服務的是100萬用戶。

所以每天如果有100萬用戶來訪問你的APP，積累下來的一些瀏覽行為、訪問行為、交易行為都是各種數(shù)據(jù)，這個數(shù)據(jù)量很大，所以你可以稱之為“大數(shù)據(jù)”

反之，如果一個村口的小賣鋪的老板，自己積累下來每天100個用戶的行為和交易在一個筆記本上，其實那也是數(shù)據(jù)，但是那數(shù)據(jù)量很小，就是“小數(shù)據(jù)”。

接著再來說大數(shù)據(jù)團隊是干什么的？

大數(shù)據(jù)團隊每天要負責的事情，說白了就是去盡可能的搜集每天100萬用戶在你的APP上的各種行為數(shù)據(jù)。

比如用戶搜索了什么東西，點擊了什么東西，評論了什么東西。還有就是搜集用戶在APP里的交易數(shù)據(jù)，比如最核心的一種，就是我們的訂單數(shù)據(jù)。

訂單數(shù)據(jù)就直觀的代表了用戶在APP里的所有的交易。

然后大數(shù)據(jù)團隊搜集過來大量的數(shù)據(jù)之后，就形成了所謂的“大數(shù)據(jù)”。接著他用這些大數(shù)據(jù)可以計算出很多東西。

最常見的就是數(shù)據(jù)報表，比如說用戶行為報表，訂單分析報表，等等。這些數(shù)據(jù)報表都是提供給老板來看的。

這就是所謂的“大數(shù)據(jù)”和大數(shù)據(jù)團隊干的事兒。

小猛聽的目瞪口呆，他覺得明哥簡直帥呆了，把大數(shù)據(jù)解釋的如此直白，淺顯易懂。

照這個理論來解釋大數(shù)據(jù)，他下次過年回家都可以跟村口開小賣鋪的老大爺解釋什么是大數(shù)據(jù)了。

其實村口老大爺每天在自己的筆記本上記錄的店鋪的各種經營情況，也是數(shù)據(jù)，只不過量太小了，所以是“小數(shù)據(jù)”。高大上的大數(shù)據(jù)，本質上也是這個意思！

3、大數(shù)據(jù)團隊跟我們訂單團隊有什么關系？

接著小猛突然一個機靈，從自己跟小賣鋪大爺解釋大數(shù)據(jù)的白日夢中驚醒了。

他問明哥：說了半天這個大數(shù)據(jù)，那他跟我們訂單系統(tǒng)有啥關系??？

明哥微微一笑：聽到這里你還沒反應過來嗎？

小猛有點不好意思，稍微沉思了一下，瞬間腦子就明白過來了。對啊！大數(shù)據(jù)團隊的職責不就是搜集各種各樣的數(shù)據(jù)嗎？那其中也包含我們的訂單數(shù)據(jù)啊！他們需要分析每天幾十萬個訂單，從中提取出老板最關系的APP交易數(shù)據(jù)報表！

明哥很高興的說道：對了，你的反應很快，就是這個意思。

但是明哥嘆了一口氣，唉，不過現(xiàn)在這也就是我們訂單系統(tǒng)面臨的另外一個問題，大數(shù)據(jù)團隊從我們這里提取數(shù)據(jù)，已經嚴重影響到我們訂單系統(tǒng)的運行了。

4、最low的做法：直接從訂單庫里select數(shù)據(jù)出來

明哥接著說，現(xiàn)在大數(shù)據(jù)團隊也是公司剛剛成立的，各種基礎組件都沒搭建好，但是老板要一些數(shù)據(jù)實在太著急了，所以現(xiàn)在你知道大數(shù)據(jù)團隊在訂單這塊的一些交易報表，是怎么跑出來的嗎？

小猛木然的看著明哥，搖搖頭。

明哥繼續(xù)說道：現(xiàn)在我們的訂單數(shù)據(jù)庫，是直接對外暴露的，大數(shù)據(jù)團隊是直接可以訪問我們的訂單數(shù)據(jù)庫的。

他們有一個數(shù)據(jù)報表系統(tǒng)，那個系統(tǒng)每次在老板查看交易報表的時候，就會直接用一個幾百行的大SQL，從我們的訂單數(shù)據(jù)庫里查出來需要的數(shù)據(jù)！

明哥說著在小白板上畫出了一個示意圖。

? ? ? ??

? ??? ? ?

你看這個示意圖，很快就明白怎么回事了。

小猛這個時候還是木然的看著明哥，說道：那人家查就查吧，對我們能有什么影響？畢竟老板要看，我們也只能這樣啊。

明哥驚訝的看著小猛：看來你還年輕，不知道這種幾百行大SQL的恐怖威力??！

5、幾百行的大SQL直接查線上庫的危害

明哥接著解釋道：首先你要知道一點，我們的訂單數(shù)據(jù)庫里的數(shù)據(jù)量是很大的，最開始每天APP就幾百個訂單，到現(xiàn)在每天小幾十萬訂單，我們每個月都新增千萬級訂單數(shù)據(jù)。

現(xiàn)在表里已經有的訂單都有千萬以上了，我們畢竟是最近幾個月才發(fā)展起來的，所以歷史數(shù)據(jù)沒那么多。

但是每天新增幾十萬訂單，數(shù)據(jù)增長是很快的，如果我們不對數(shù)據(jù)庫架構做一些重構，很快單表上億數(shù)據(jù)，基本系統(tǒng)運轉就困難了。

其次，就以我們現(xiàn)在數(shù)據(jù)庫里千萬級數(shù)據(jù)來說，每次老板要看交易報表的時候，數(shù)據(jù)報表系統(tǒng)運行一個幾百行的大SQL到我們庫里，這種級別的SQL在這種量級下，快則三五秒，慢則幾十秒！

明哥說到這里停頓了一下，看著小猛。

結果小猛還是沒什么反應，他心想，幾十秒的話，也最多就是報表查詢速度慢點而已，跟我們有什么關系？

明哥接著解釋，但是這種幾百行的大SQL執(zhí)行是非常消耗CPU的，對磁盤IO的負載也是很重的，尤其是每天不止老板一個人要看數(shù)據(jù)報表，這個報表系統(tǒng)是對公司開放的，包括副總，高管，中層經理，運營，產品經理，全公司幾十個人都會看這些報表。

每次當有幾十個幾百行的大SQL同時運行在我們訂單數(shù)據(jù)庫里的時候，都會導致我們的數(shù)據(jù)庫CPU負載很高，磁盤IO負載很高！

一旦我們的數(shù)據(jù)庫負載很高，直接會導致我們的訂單系統(tǒng)執(zhí)行的一些增刪改查的操作性能大幅度下降！

小猛這個時候才夢然醒悟，他看著明哥在圖里又增加了幾筆，瞬間就搞明白里面的厲害關系了。

? ? ? ? ? ?

? ? ? ? ? ?

搞了半天，昨天我在工位上做筆記的時候，聽到旁邊的師兄抱怨說，怎么訂單系統(tǒng)的接口突然性能又下降了，原來就是因為有好多人在查看數(shù)據(jù)報表，結果幾十個幾百行的大SQL運行在我們訂單數(shù)據(jù)庫??！

小猛同情的看著明哥，心想：唉，老大真是太不容易了，又不能不讓老板看報表，但是最后數(shù)據(jù)的計算壓力居然都落在訂單系統(tǒng)身上了，真是不容易??！

小猛跟明哥說：明哥，今晚我回去一定好好梳理這個大數(shù)據(jù)團隊強加給我們的技術難題，好好思考一下該怎么解決！

End

專欄版權歸公眾號儒猿技術窩所有

未經許可不得傳播，如有侵權將追究法律責任