大數(shù)據(jù)筆記 一
數(shù)據(jù)分析：“傳統(tǒng)數(shù)據(jù)分析”使用的統(tǒng)計(jì)知識(shí)主要圍繞“能否通過少量的抽樣數(shù)據(jù)來推測(cè)真實(shí)世界”得到少量的核心維度和指標(biāo)數(shù)據(jù)后，用excel等軟件處理分析這些指標(biāo)結(jié)果，比如衡量一次抽樣統(tǒng)計(jì)的置信性（能否從統(tǒng)計(jì)概率角度相信）。
大數(shù)據(jù)分析：在大數(shù)據(jù)時(shí)代，由于互聯(lián)網(wǎng)和長(zhǎng)尾經(jīng)濟(jì)的興起，會(huì)有大量個(gè)性化匹配場(chǎng)景（如瀏覽器廣告，直通車），這些場(chǎng)景一方面可供劃分的特征非常多（如“人貨場(chǎng)”劃分用戶特征、商品特征、場(chǎng)景特征），另一方面又累計(jì)了大量的歷史樣本。所以，海量樣本使大特征成為可能，大特征又使大樣本發(fā)揮價(jià)值。
PS:長(zhǎng)尾經(jīng)濟(jì)：可參考二八法則
機(jī)器學(xué)習(xí)模型的關(guān)系上：
傳統(tǒng)數(shù)據(jù)分析：在大部分時(shí)候，只是將機(jī)器學(xué)習(xí)模型當(dāng)黑盒工具來輔助分析數(shù)據(jù)（黑盒工具：軟件領(lǐng)域的概念，只關(guān)心了解模塊的輸入和輸出，但不清楚內(nèi)部的實(shí)現(xiàn)原理）
大數(shù)據(jù)分析：更多的時(shí)候兩者結(jié)合，大數(shù)據(jù)分析除了產(chǎn)出數(shù)據(jù)分析報(bào)告，還會(huì)包括業(yè)務(wù)中的建模潛力點(diǎn)，乃至鏟除模型的原型和效果評(píng)測(cè)，后續(xù)基于此來升級(jí)產(chǎn)品。在大數(shù)據(jù)分析的場(chǎng)景，數(shù)據(jù)分析師數(shù)據(jù)建模的前奏，數(shù)據(jù)建模是數(shù)據(jù)分析的成果。
數(shù)據(jù)分析的價(jià)值和應(yīng)用場(chǎng)景
很多企業(yè)的技術(shù)團(tuán)隊(duì)不重視數(shù)據(jù)分析，或者說很多人自以為拿到報(bào)表拿到結(jié)果就能分析，但是這在我們看來叫做“腦補(bǔ)分析”，分析的思路、得到的問題，乃至給出的建議極大可能偏離事實(shí)或正確方向，數(shù)據(jù)分析的能力不只是掌握統(tǒng)計(jì)知識(shí)和算法模型，對(duì)業(yè)務(wù)產(chǎn)品的認(rèn)知、看法與判斷才是關(guān)鍵所在。
例如，著名咨詢公司做一個(gè)數(shù)據(jù)分析項(xiàng)目，如果是3人X3月的投入規(guī)模，平均市場(chǎng)價(jià)格在千萬左右，而他們的主要產(chǎn)出只是一份100頁(yè)左右的分析報(bào)告（PPT），用到可能也只是excel和簡(jiǎn)單的統(tǒng)計(jì)方法，但是如果數(shù)據(jù)分析真的這么簡(jiǎn)單，市場(chǎng)價(jià)格為何如此之高，并且有這么多企業(yè)愿意花錢甚至急切地想要做數(shù)據(jù)分析項(xiàng)目？
從上面的價(jià)值看，企業(yè)是認(rèn)可數(shù)據(jù)分析的價(jià)值的，而這個(gè)價(jià)值就體現(xiàn)在對(duì)業(yè)務(wù)發(fā)展不同階段提供不同方面的價(jià)值，即企業(yè)發(fā)展的前期（探索期）或階段性改進(jìn)其（顛覆期）。當(dāng)企業(yè)探索和變革業(yè)務(wù)模式時(shí)，企業(yè)需要數(shù)據(jù)分析去明確業(yè)務(wù)中的問題、機(jī)遇以及解決方案。當(dāng)業(yè)務(wù)模式相對(duì)成熟時(shí)，企業(yè)則需要數(shù)據(jù)建模來提升業(yè)務(wù)效率，減少運(yùn)營(yíng)成本等。
因?yàn)?，很少有人清楚企業(yè)最大的成本是決策成本，公司會(huì)面臨無數(shù)的岔路口及選擇，嚴(yán)重的甚至關(guān)乎企業(yè)的生死存亡，在企業(yè)的衰退期和顛覆期，尋找新的增長(zhǎng)點(diǎn)是至關(guān)重要的，所以企業(yè)為了續(xù)命或者說東山再起，是不介意花重金去提升哪怕一點(diǎn)點(diǎn)的可能性的，用我們的俗話說就是—選擇大于努力。
例如曾經(jīng)有一個(gè)“客戶流失分析”的項(xiàng)目，沒有接觸業(yè)務(wù)線的前幾天，絞盡腦汁也只能得出一個(gè)“給客戶宣傳不好、宣傳不到位”的流失原因，然后如果順著這個(gè)思路下去，加大宣傳力度，投入宣傳經(jīng)費(fèi)，再繼續(xù)碰到新的問題，那么這其中浪費(fèi)的時(shí)間精力和財(cái)力都是小的，走錯(cuò)方向，對(duì)業(yè)務(wù)無用甚至開倒車才是大禍，在與一線客服一起給流失客戶逐一溝通之后，才發(fā)現(xiàn)世界遠(yuǎn)比抽象的數(shù)據(jù)指標(biāo)復(fù)雜，有著極其豐富的場(chǎng)景和故事，具體情境分為幾個(gè)因素：
不可控：
嫁了有錢人，不做了，不想辛苦。前陣子北京下大雨，把工廠沖垮了，目前還未恢復(fù)生產(chǎn)。
客戶公司就他自己，有事情就自己去。
產(chǎn)品功能欠缺：沒有時(shí)間去銀行轉(zhuǎn)賬，又不相信快遞取款，網(wǎng)銀續(xù)費(fèi)也不會(huì)。
客戶需要時(shí)間評(píng)估效果，對(duì)比效果差距。
? ?
特殊需求:不靠推廣帶來客戶，只是讓他的客戶在網(wǎng)上能找到他的信息即可。
資金需求：資金鏈緊張，被人壓了筆大額貸款。
營(yíng)銷需求：公司換領(lǐng)導(dǎo)了，新領(lǐng)導(dǎo)不相信互聯(lián)網(wǎng)，想投傳統(tǒng)媒體。
基于上述問題，貼近業(yè)務(wù)，才能得出分析結(jié)論，明確每一步，花好每一分錢，花對(duì)每一處地方。
分析：一方面，由于互聯(lián)網(wǎng)媒體和電視媒體相比，可投放廣告的位置資源更多，所以他的客戶群體更加寬泛，很多中小企業(yè)都可以在網(wǎng)上推廣自己的產(chǎn)品。但中小企業(yè)的普遍問題就是抗風(fēng)險(xiǎn)能力差，經(jīng)常會(huì)碰到資金欠缺?？梢蕴峁┒唐诘男刨J服務(wù)幫助他們進(jìn)行推廣投入。部分中小企業(yè)主對(duì)互聯(lián)網(wǎng)新生事物了解較少，所以需要對(duì)他們進(jìn)行營(yíng)銷理念的培訓(xùn)并提供方便的線下支付渠道，甚至在一些傳統(tǒng)媒體上做互聯(lián)網(wǎng)營(yíng)銷的有效性廣告。
另一方面，產(chǎn)品的功能也待完善，比如現(xiàn)在沒有提供工具能讓客戶很好的評(píng)估推廣帶來的銷售增長(zhǎng)，客戶只能通過停止推廣這種簡(jiǎn)單粗暴的方式來試驗(yàn)；互聯(lián)網(wǎng)廣告產(chǎn)品的復(fù)雜度極高，很多時(shí)候又反過來限制了廣告主的使用意愿。因?yàn)樗麄冋莆胀斗欧椒ㄐ枰^大的學(xué)習(xí)成本，所以期望一站式的托管。部分廣告主的需求僅是在網(wǎng)絡(luò)上宣傳自己的品牌，而不需要通過渠道進(jìn)行售賣。針對(duì)這種需求，可以研發(fā)出更細(xì)分的產(chǎn)品。
創(chuàng)新思考
如何體現(xiàn)自己的核心競(jìng)爭(zhēng)力，經(jīng)濟(jì)學(xué)告訴我們，稀缺才有定價(jià)權(quán)。只有具備與他人差異化的分析能力，才能在數(shù)據(jù)分析行業(yè)脫穎而出。
差異化的分析能力是做好數(shù)據(jù)分析的第二個(gè)關(guān)鍵點(diǎn)，即具備獨(dú)創(chuàng)性的分析和見解，有他人沒有的視角，能看到他人看不到的地方，這種能力來自不斷地“學(xué)”與“思”， 或稱“跨領(lǐng)域的知識(shí)面”與“思考的習(xí)慣”（經(jīng)濟(jì)學(xué)、心理學(xué)、統(tǒng)計(jì)學(xué)）
經(jīng)濟(jì)學(xué)：研究人理性的一面，適用于眾多商業(yè)產(chǎn)品的相關(guān)的分析場(chǎng)景。（例如，閱讀某電商的財(cái)務(wù)報(bào)表，發(fā)現(xiàn)它的毛利率非常低，而應(yīng)付賬款的數(shù)額非常高。令人困惑的是：零售不應(yīng)該賺毛利率的錢么（買進(jìn)與賣出的差價(jià)）？如果它不賺這個(gè)錢，那靠什么盈利、發(fā)展呢？
? 電商領(lǐng)域不同于傳統(tǒng)的零售業(yè)，由于互聯(lián)網(wǎng)去除了地域限制，所以很多互聯(lián)網(wǎng)產(chǎn)品都呈現(xiàn)“贏者通吃”的規(guī)律，所以擴(kuò)大市場(chǎng)份額對(duì)于互聯(lián)網(wǎng)企業(yè)來說是第一重要的。擴(kuò)大市場(chǎng)份額，除了提供優(yōu)質(zhì)的服務(wù)之外，很大程度上依靠低廉的商品價(jià)格（網(wǎng)絡(luò)購(gòu)物場(chǎng)景，用戶比價(jià)非常容易，也非常容易換一個(gè)平臺(tái)購(gòu)買）。一旦某家電商企業(yè)通過價(jià)格優(yōu)勢(shì)占領(lǐng)了大部分的市場(chǎng)份額，就會(huì)有更多的優(yōu)勢(shì)與供貨商談判，進(jìn)而通過壓供貨商的貨款來做金融投資，獲取收益。通常，渠道商（電商屬于渠道商）并不在進(jìn)貨的時(shí)候付賬，而在商品銷售完成后付賬，這中間存在一個(gè)賬期。通常渠道商的市場(chǎng)份額越大，面對(duì)供應(yīng)商的談判能力越強(qiáng)，賬期也就越長(zhǎng)。
二、
1.作論斷時(shí)，需要合理的比較對(duì)象
1）自身歷史：與歷史同期比，如去年或上個(gè)季度。
2）同行競(jìng)品：如：和市場(chǎng)主要競(jìng)爭(zhēng)者X和Y相比，我們的產(chǎn)品如何。
3）合理預(yù)期：與之前對(duì)收益或其他的市場(chǎng)預(yù)期相比。如：因?yàn)楫a(chǎn)品A的上線，我們的收益比預(yù)期多了10%
4）同質(zhì)對(duì)照組：對(duì)產(chǎn)品覆蓋人群進(jìn)行拆分，用實(shí)驗(yàn)組和同質(zhì)對(duì)照組的方式進(jìn)行A/Btest評(píng)估
小技巧
如結(jié)論形式為 “經(jīng)過不懈努力，產(chǎn)品流量達(dá)100萬/日”
1.提供合適的比較對(duì)象，如競(jìng)品流量如何，產(chǎn)品市場(chǎng)份額有怎樣的變化等，才能顯示出業(yè)績(jī)的質(zhì)感，同時(shí)避免因不提供合適的比較對(duì)象，讓大家拿來和企業(yè)主營(yíng)的產(chǎn)品及業(yè)務(wù)比較，這對(duì)新產(chǎn)品和新業(yè)務(wù)是不公平的。
