一、什么是大數(shù)據(jù)？

大數(shù)據(jù)，指無法在定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)的核心是利用數(shù)據(jù)的價(jià)值，機(jī)器學(xué)習(xí)是利用數(shù)據(jù)價(jià)值的關(guān)鍵技術(shù)，對(duì)于大數(shù)據(jù)而言，機(jī)器學(xué)習(xí)是不可或缺的。相反，對(duì)于機(jī)器學(xué)習(xí)而言，越多的數(shù)據(jù)越可能提升模型的精確性，同時(shí)，復(fù)雜的機(jī)器學(xué)習(xí)算法的計(jì)算時(shí)間也迫切需要分布式計(jì)算與內(nèi)存計(jì)算這樣的關(guān)鍵技術(shù)。因此，機(jī)器學(xué)習(xí)的興盛也離不開大數(shù)據(jù)的幫助。大數(shù)據(jù)與機(jī)器學(xué)習(xí)兩者是互相促進(jìn)，相依相存的關(guān)系。

機(jī)器學(xué)習(xí)與大數(shù)據(jù)緊密聯(lián)系。但是，必須清醒的認(rèn)識(shí)到，大數(shù)據(jù)并不等同于機(jī)器學(xué)習(xí)，同理，機(jī)器學(xué)習(xí)也不等同于大數(shù)據(jù)。大數(shù)據(jù)中包含有分布式計(jì)算，內(nèi)存數(shù)據(jù)庫(kù)，多維分析等等多種技術(shù)。單從分析方法來看，大數(shù)據(jù)也包含以下四種分析方法：

1. 大數(shù)據(jù)，小分析：即數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的OLAP分析思路，也就是多維分析思想。

2. 大數(shù)據(jù)，大分析：這個(gè)代表的就是數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)分析法。

3. 流式分析：這個(gè)主要指的是事件驅(qū)動(dòng)架構(gòu)。

4. 查詢分析：經(jīng)典代表是NoSQL數(shù)據(jù)庫(kù)。

也就是說，機(jī)器學(xué)習(xí)僅僅是大數(shù)據(jù)分析中的一種而已，機(jī)器學(xué)習(xí)的一些結(jié)果具有很大的魔力，在某種場(chǎng)合下是大數(shù)據(jù)價(jià)值較好的說明。

二、什么是機(jī)器學(xué)習(xí)？

從廣義上來說，機(jī)器學(xué)習(xí)是種能夠賦予機(jī)器學(xué)習(xí)的能力以此讓它完成直接編程無法完成的功能的方法。但從實(shí)踐的意義上來說，機(jī)器學(xué)習(xí)是種通過利用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型預(yù)測(cè)的種方法。

我們需要先在計(jì)算機(jī)中存儲(chǔ)歷史的數(shù)據(jù)。接著，我們將這些數(shù)據(jù)通過機(jī)器學(xué)習(xí)算法進(jìn)行處理，這個(gè)過程在機(jī)器學(xué)習(xí)中叫做“訓(xùn)練”，處理的結(jié)果可以被我們用來對(duì)新的數(shù)據(jù)進(jìn)行預(yù)測(cè)，這個(gè)結(jié)果般稱之為“模型”。對(duì)新數(shù)據(jù)的預(yù)測(cè)過程在機(jī)器學(xué)習(xí)中叫做“預(yù)測(cè)”?！坝?xùn)練”與“預(yù)測(cè)”是機(jī)器學(xué)習(xí)的兩個(gè)過程，“模型”則是過程的中間輸出結(jié)果，“訓(xùn)練”產(chǎn)生“模型”，“模型”指導(dǎo)“預(yù)測(cè)”。

人類在成長(zhǎng)、生活過程中積累了很多的歷史與經(jīng)驗(yàn)。人類定期地對(duì)這些經(jīng)驗(yàn)進(jìn)行“歸納”，獲得了生活的“規(guī)律”。當(dāng)人類遇到未知的問題或者需要對(duì)未來進(jìn)行“推測(cè)”的時(shí)候，人類使用這些“規(guī)律”，對(duì)未知問題與未來進(jìn)行“推測(cè)”，從而指導(dǎo)自己的生活和工作。

機(jī)器學(xué)習(xí)中的“訓(xùn)練”與“預(yù)測(cè)”過程可以對(duì)應(yīng)到人類的“歸納”和“推測(cè)”過程。通過這樣的對(duì)應(yīng)，我們可以發(fā)現(xiàn)，機(jī)器學(xué)習(xí)的思想并不復(fù)雜，僅僅是對(duì)人類在生活中學(xué)習(xí)成長(zhǎng)的個(gè)模擬。由于機(jī)器學(xué)習(xí)不是基于編程形成的結(jié)果，因此它的處理過程不是因果的邏輯，而是通過歸納思想得出的相關(guān)性結(jié)論。

這也可以聯(lián)想到人類為什么要學(xué)習(xí)歷史，歷史實(shí)際上是人類過往經(jīng)驗(yàn)的總結(jié)。有句話說得很好，“歷史往往不一樣，但歷史總是驚人的相似”。通過學(xué)習(xí)歷史，我們從歷史中歸納出人生與國(guó)家的規(guī)律，從而指導(dǎo)我們的下一步工作，這是具有莫大價(jià)值的。