以下文章來(lái)源于與數(shù)據(jù)同行?，作者傅一平。

有好友邀請(qǐng)我去做浙江大學(xué)數(shù)據(jù)“悅”讀大賽的評(píng)委，順便讓我做一次大數(shù)據(jù)的主題演講，我問(wèn)分享啥呢，好友說(shuō)那就講講數(shù)據(jù)職場(chǎng)相關(guān)的吧，然后就有了這次分享。

演講PPT包括六大部分，包括引言、數(shù)據(jù)領(lǐng)域基本概念、數(shù)據(jù)的目標(biāo)是什么、數(shù)據(jù)崗位如何理解、數(shù)據(jù)技術(shù)全景視圖及進(jìn)入職場(chǎng)前的準(zhǔn)備，主要面向想進(jìn)入大數(shù)據(jù)行業(yè)的大學(xué)生，也適合于對(duì)數(shù)據(jù)感興趣的人士，PPT寫(xiě)得簡(jiǎn)單，權(quán)當(dāng)拋磚引玉。

這頁(yè)P(yáng)PT我主要想表達(dá)的是：工作思維和學(xué)生思維的區(qū)別。

網(wǎng)傳有個(gè)例子也很形象。老板要在墻上掛副畫(huà)，讓你去買個(gè)電鉆，你跑到樓下，發(fā)現(xiàn)店關(guān)門(mén)了，你跟老板說(shuō)，店關(guān)門(mén)了，我沒(méi)有買到，這是答案，不是結(jié)果。你找到物業(yè)讓他打個(gè)洞，這是老板要的結(jié)果。

大數(shù)據(jù)這個(gè)詞容易望文生義，其實(shí)在大數(shù)據(jù)的4V特征中，多樣性才是最重要的特性，芝麻信用的價(jià)值就在于維度夠多，比如身份特質(zhì)中的就業(yè)類信息，如果知道你在哪個(gè)單位工作，這個(gè)單位顯然可以為你的信用背書(shū)。

高速度也是很關(guān)鍵的特征，我們以前大量的分析都是截面分析，拋棄了時(shí)間要素，事實(shí)上，數(shù)據(jù)的時(shí)間維度代表了一種價(jià)值，比如高速路打高爾夫球是一種違規(guī)行為，實(shí)時(shí)預(yù)警和隔天預(yù)警產(chǎn)生的價(jià)值則完全不同。

大數(shù)據(jù)相對(duì)于小數(shù)據(jù)有4V的特征，為了從大數(shù)據(jù)中挖掘出價(jià)值，需要針對(duì)大數(shù)據(jù)的4V特點(diǎn)給出適配的技術(shù)解決方案：

從大容量的角度看，需要從傳統(tǒng)的小型機(jī)（Scale up）架構(gòu)升級(jí)為分布式架構(gòu)（Scale out）。
從多樣性的角度看，需要突破傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的限制（比如ACID），采取NoSQL數(shù)據(jù)庫(kù)來(lái)高效處理非結(jié)構(gòu)化等數(shù)據(jù)。

從高速度的角度看，需要從原來(lái)的批處理架構(gòu)升級(jí)到流處理架構(gòu)，支撐實(shí)時(shí)查詢、實(shí)時(shí)統(tǒng)計(jì)等應(yīng)用場(chǎng)景。

從高價(jià)值的角度看，需要采取更低成本的軟件解決方案，比如從傳統(tǒng)的商用軟件逐步過(guò)渡到開(kāi)源軟件。

采集進(jìn)來(lái)的原始數(shù)據(jù)是雜亂無(wú)章的，只有通過(guò)構(gòu)建數(shù)據(jù)模型，將數(shù)據(jù)有序的組織和存儲(chǔ)起來(lái)之后，這些數(shù)據(jù)才能得到高性能、低成本、高效率、高質(zhì)量的使用，數(shù)據(jù)倉(cāng)庫(kù)建模的價(jià)值體現(xiàn)在四個(gè)方面：

質(zhì)量：打造標(biāo)準(zhǔn)層，實(shí)現(xiàn)業(yè)務(wù)和數(shù)據(jù)的準(zhǔn)確映射，提升應(yīng)用的有效性。

效率：打造公共層，實(shí)現(xiàn)數(shù)據(jù)的高內(nèi)聚，松耦合，提升應(yīng)用支撐速度。

性能：打造精簡(jiǎn)層，實(shí)現(xiàn)數(shù)據(jù)的過(guò)濾和整合，提升應(yīng)用查詢效率。

魯棒：打造中間層，實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)的解耦，提升應(yīng)用的連續(xù)性。

機(jī)器學(xué)習(xí)主要分為三大類：

監(jiān)督學(xué)習(xí)：基于現(xiàn)有的經(jīng)驗(yàn)（打標(biāo)簽）去發(fā)現(xiàn)規(guī)律，然后去預(yù)測(cè)未來(lái)，比如機(jī)器通過(guò)看很多貓的照片然后就會(huì)識(shí)別其它的貓

無(wú)監(jiān)督學(xué)習(xí)：沒(méi)有任何經(jīng)驗(yàn)，自動(dòng)發(fā)現(xiàn)規(guī)律，比如通過(guò)客戶聚類自動(dòng)發(fā)現(xiàn)一些特殊群體

強(qiáng)化學(xué)習(xí)：某個(gè)環(huán)境下的自主個(gè)體通過(guò)與環(huán)境的互動(dòng)而不斷改進(jìn)它的行為以獲得最大的累積回報(bào)，比如下棋，無(wú)人機(jī)

狹義的人工智能可以分為四大類別：

深度學(xué)習(xí)：將現(xiàn)實(shí)世界表示為嵌套的層次概念體系，由較簡(jiǎn)單概念間的聯(lián)系定義復(fù)雜概念，從一般抽象概括到高級(jí)抽象表示，從而獲得強(qiáng)大的性能與靈活性，比如圖片的識(shí)別，先識(shí)別邊緣，再識(shí)別耳朵，再識(shí)別臉

強(qiáng)化學(xué)習(xí)：通過(guò)對(duì)未知環(huán)境一邊探索一邊建立環(huán)境模型以及學(xué)得一個(gè)最優(yōu)策略，無(wú)論是人類學(xué)走步、鸚鵡走鋼絲還是無(wú)人駕駛汽車都應(yīng)用到了強(qiáng)化學(xué)習(xí)

對(duì)抗學(xué)習(xí)：生成對(duì)抗網(wǎng)絡(luò)通過(guò)生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈的方式進(jìn)行學(xué)習(xí)，生成網(wǎng)絡(luò)生成真假難辨的數(shù)據(jù)，盡可能讓判別網(wǎng)絡(luò)無(wú)法識(shí)別真假，判別網(wǎng)絡(luò)則盡可能將真相識(shí)別出來(lái)，直到判別網(wǎng)絡(luò)無(wú)法判斷生成網(wǎng)絡(luò)的輸出結(jié)果是否真實(shí)

遷移學(xué)習(xí)：遷移學(xué)習(xí)顧名思義就是就是把已學(xué)訓(xùn)練好的模型參數(shù)遷移到新的模型來(lái)幫助新模型訓(xùn)練，一個(gè)會(huì)打乒乓球的人比沒(méi)有經(jīng)驗(yàn)的人更容易接受網(wǎng)球；會(huì)騎自行車的人能更快學(xué)習(xí)騎電動(dòng)車等等，遷移學(xué)習(xí)就在你身邊

深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，在機(jī)器學(xué)習(xí)中特征選擇部分一般需要人的先驗(yàn)知識(shí)的介入來(lái)設(shè)計(jì)好的特征提取方法，比如判斷一張圖片是否是貓，首先要定義一些特征，比如該動(dòng)物是否有胡須、耳朵；如果有耳朵，那么耳朵是否是尖的，然后讓系統(tǒng)識(shí)別出在動(dòng)物中是否有這些重要特征，而深度學(xué)習(xí)會(huì)一次性完成這些任務(wù)，深度學(xué)習(xí)會(huì)自動(dòng)找到對(duì)分類任務(wù)重要的特征，而機(jī)器學(xué)習(xí)不得不人工指定。

舍恩伯格所寫(xiě)的經(jīng)典書(shū)籍《大數(shù)據(jù)時(shí)代》是一本大數(shù)據(jù)思想的啟蒙書(shū)，它的全體數(shù)據(jù)、混雜性及相關(guān)關(guān)系思想是實(shí)用主義的一種代表，但也不是絕對(duì)的，需要辯證的去理解。

數(shù)據(jù)的目標(biāo)是驅(qū)動(dòng)業(yè)務(wù)，需要經(jīng)歷從數(shù)據(jù)到信息、從信息到知識(shí)、再?gòu)闹R(shí)到智慧的過(guò)程，擁有知識(shí)不代表?yè)碛兄腔?，智慧是選擇知識(shí)（多元模型）的能力。

將數(shù)據(jù)加工成智慧，依賴于數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)分析、數(shù)據(jù)產(chǎn)品經(jīng)理等崗位人員，每類崗位人員有著自己使命，但也有著獨(dú)特的挑戰(zhàn)，功夫往往在詩(shī)外。