這是一篇技術(shù)雜談?lì)惖奈恼?。分為上下兩篇?/span>

下面是食用須知：

• 本文適合還不十分了解大數(shù)據(jù)的你，同樣適合不確定要不要學(xué)習(xí)大數(shù)據(jù)的你，將帶你了解行業(yè)的需求以及與之相關(guān)的崗位，也同樣適合剛剛踏入大數(shù)據(jù)領(lǐng)域工作的你，歡迎收藏并將文章分享給身邊的朋友。

• 筆者從事大數(shù)據(jù)開發(fā)和培訓(xùn)多年，曾為多家機(jī)構(gòu)優(yōu)化完整大數(shù)據(jù)課程體系，也為多所高校設(shè)計(jì)并實(shí)施大數(shù)據(jù)專業(yè)培養(yǎng)方案，并進(jìn)行過多次大數(shù)據(jù)師資培訓(xùn)、高校骨干教師學(xué)習(xí)交流，希望自己的一點(diǎn)粗淺認(rèn)識(shí)能夠幫助到大家。

• 本文并不是要將大數(shù)據(jù)描述成一個(gè)萬能的、可以解決所有問題的東西，而是客觀的闡述其作用，能夠解決的一些問題。希望將這一領(lǐng)域盡可能完整的介紹給你，至于如何選擇需要根據(jù)自己的實(shí)際情況來決定。

大數(shù)據(jù)的基本概念

什么是大數(shù)據(jù)

要說什么是大數(shù)據(jù)我想大家多少已經(jīng)有所了解了，很多落地的案例已經(jīng)深入到了我們的生活中。大數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類型豐富復(fù)雜、數(shù)據(jù)增長速度快等特點(diǎn)，一切的數(shù)據(jù)分析必須建立在真實(shí)的數(shù)據(jù)集上才會(huì)有意義，而數(shù)據(jù)質(zhì)量本身也是影響大數(shù)據(jù)分析結(jié)果的重要因素之一。

作為學(xué)習(xí)者，我們關(guān)心的應(yīng)該是大數(shù)據(jù)能夠解決什么樣的問題，能夠應(yīng)用在哪些領(lǐng)域，應(yīng)該學(xué)習(xí)哪些內(nèi)容，側(cè)重哪一方面。
簡單來說，我們需要學(xué)習(xí)的就是一系列的大數(shù)據(jù)生態(tài)圈技術(shù)組件，以及貫穿整個(gè)數(shù)據(jù)分析流程的分析方法和思維，并且思路更加重要一些！只有明確了數(shù)據(jù)分析場景與流程，我們才能夠確定需要整合哪些大數(shù)據(jù)組件來解決這一問題。
下面我們將一起推開這一領(lǐng)域的大門~

數(shù)據(jù)是如何采集的

大數(shù)據(jù)分析的第一步就是對(duì)數(shù)據(jù)的收集和管理，我們需要先來了解一下數(shù)據(jù)是如何產(chǎn)生的？又是被如何捕獲的？那些看似雜亂的數(shù)據(jù)真的能被分析嗎？
主動(dòng)的數(shù)據(jù)產(chǎn)生與用戶行為數(shù)據(jù)收集

主動(dòng)產(chǎn)生的數(shù)據(jù)比較好理解，在我們使用互聯(lián)網(wǎng)或者各種應(yīng)用的過程中，通過填寫提交表單就會(huì)產(chǎn)生數(shù)據(jù)。類似的，我們在線下環(huán)境中，比如銀行開卡、紙質(zhì)表格的填寫，最終都會(huì)變成電子數(shù)據(jù)流入到系統(tǒng)中。通常，我們會(huì)將這一類行為歸為用戶注冊，通常會(huì)是產(chǎn)生數(shù)據(jù)的起點(diǎn)。（當(dāng)然，有些時(shí)候我們分析的數(shù)據(jù)也可能并不關(guān)心用戶自身的信息。）除此之外，通過使用一些平臺(tái)的功能，用戶會(huì)上傳和發(fā)布各種類型的數(shù)據(jù)，如文本類信息、音頻、視頻等，這都是數(shù)據(jù)產(chǎn)生和積累的方式。
對(duì)于用戶行為數(shù)據(jù)更多的來自于應(yīng)用埋點(diǎn)和捕獲，因?yàn)橛脩羰褂脩?yīng)用必須通過鼠標(biāo)點(diǎn)擊或者手指觸碰來和用戶界面進(jìn)行交互。以網(wǎng)頁應(yīng)用（網(wǎng)站）為例，對(duì)于鼠標(biāo)的所有行為基本上都可以通過事件監(jiān)聽的方式來捕獲，鼠標(biāo)在某個(gè)區(qū)域停留的時(shí)間、是否進(jìn)行點(diǎn)擊，我們甚至可以根據(jù)用戶的行為數(shù)據(jù)刻畫出整個(gè)頁面的熱力圖。

在不同的應(yīng)用場景中，我們可以對(duì)行為類型、功能模塊、用戶信息等維度進(jìn)一步的劃分，做更加深入的分析。

結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)

最常見的結(jié)構(gòu)化數(shù)據(jù)就是存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)，如MySQL、Oracle等，這些數(shù)據(jù)都具備一個(gè)特點(diǎn)，就是十分規(guī)范。因?yàn)殛P(guān)系型數(shù)據(jù)庫屬于寫時(shí)模式，也就是說不符合預(yù)先設(shè)定的數(shù)據(jù)類型和規(guī)范的數(shù)據(jù)不會(huì)通過校驗(yàn)，存不到數(shù)據(jù)庫中。除數(shù)據(jù)庫中的數(shù)據(jù)以外，那些能直接導(dǎo)入到數(shù)據(jù)庫中的數(shù)據(jù)文件我們也可以把它們視為結(jié)構(gòu)化的數(shù)據(jù)，如：CSV格式。這些數(shù)據(jù)通常需要具備統(tǒng)一的列分隔符、行分隔符，統(tǒng)一的日期格式等等。
對(duì)于非機(jī)構(gòu)化的數(shù)據(jù)指的就是除結(jié)構(gòu)化數(shù)據(jù)以外的另一大類數(shù)據(jù)，通常沒有預(yù)期的數(shù)據(jù)機(jī)構(gòu)，存儲(chǔ)在非關(guān)系型數(shù)據(jù)庫中，如：Redis、MongoDB，使用NoSQL來進(jìn)行操作。也可能是非文本類型的數(shù)據(jù)，需要特別對(duì)應(yīng)的手段來處理和分析。

大數(shù)據(jù)真的能預(yù)測嗎

問起大數(shù)據(jù)到底能不能預(yù)測，倒不如來說一說大數(shù)據(jù)是如何預(yù)測的。如果結(jié)合人工智能領(lǐng)域來說的話就比較復(fù)雜了，就說比較簡單的場景：用統(tǒng)計(jì)分析的方法進(jìn)行輔助決策，或者用經(jīng)典數(shù)據(jù)挖掘算法進(jìn)行模型的訓(xùn)練。既然是預(yù)測，那就有可能準(zhǔn)確，也有可能不準(zhǔn)確，分析者需要做的就是合理的使用各種數(shù)據(jù)維度，結(jié)合相應(yīng)的算法或統(tǒng)計(jì)分析方法，去訓(xùn)練或擬合出一個(gè)潛在的規(guī)律。這個(gè)過程就好比，給了我們?nèi)齻€(gè)點(diǎn)（1，1）、（2，2）、（3，3），我們可以大概猜到它的函數(shù)式有可能為y=x一樣。當(dāng)然，實(shí)際的分析過程要比這復(fù)雜的多得多，畢竟有很多函數(shù)式都可以滿足這三個(gè)點(diǎn)，但到底哪一個(gè)是我想要的規(guī)律呢？這就需要理論知識(shí)與行業(yè)經(jīng)驗(yàn)并重，不斷的打磨和優(yōu)化才能夠得到一個(gè)可靠的模型。
但是我們可以明確的一點(diǎn)是，大數(shù)據(jù)的預(yù)測也好、推薦也好，都是基于算法的，是數(shù)學(xué)的，也是科學(xué)的，但并不會(huì)百分之百的準(zhǔn)確。

轉(zhuǎn)自公眾號(hào)：https://mp.weixin.qq.com/s/tJcYLdrU0NrMa3DDMDWFYg

猜你喜歡：

大數(shù)據(jù)領(lǐng)域75個(gè)核心術(shù)語講解！(上篇)

大數(shù)據(jù)領(lǐng)域75個(gè)核心術(shù)語講解?。ㄏ缕?/a>