一、什么是大數(shù)據(jù)？

大數(shù)據(jù)，指無法在定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)的核心是利用數(shù)據(jù)的價值，機(jī)器學(xué)習(xí)是利用數(shù)據(jù)價值的關(guān)鍵技術(shù)，對于大數(shù)據(jù)而言，機(jī)器學(xué)習(xí)是不可或缺的。相反，對于機(jī)器學(xué)習(xí)而言，越多的數(shù)據(jù)越可能提升模型的精確性，同時，復(fù)雜的機(jī)器學(xué)習(xí)算法的計算時間也迫切需要分布式計算與內(nèi)存計算這樣的關(guān)鍵技術(shù)。因此，機(jī)器學(xué)習(xí)的興盛也離不開大數(shù)據(jù)的幫助。大數(shù)據(jù)與機(jī)器學(xué)習(xí)兩者是互相促進(jìn)，相依相存的關(guān)系。

機(jī)器學(xué)習(xí)與大數(shù)據(jù)緊密聯(lián)系。但是，必須清醒的認(rèn)識到，大數(shù)據(jù)并不等同于機(jī)器學(xué)習(xí)，同理，機(jī)器學(xué)習(xí)也不等同于大數(shù)據(jù)。大數(shù)據(jù)中包含有分布式計算，內(nèi)存數(shù)據(jù)庫，多維分析等等多種技術(shù)。單從分析方法來看，大數(shù)據(jù)也包含以下四種分析方法：

1.大數(shù)據(jù)，小分析：即數(shù)據(jù)倉庫領(lǐng)域的OLAP分析思路，也就是多維分析思想。

2.大數(shù)據(jù)，大分析：這個代表的就是數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)分析法。

3.流式分析：這個主要指的是事件驅(qū)動架構(gòu)。

4.查詢分析：經(jīng)典代表是NoSQL數(shù)據(jù)庫。

也就是說，機(jī)器學(xué)習(xí)僅僅是大數(shù)據(jù)分析中的一種而已，機(jī)器學(xué)習(xí)的一些結(jié)果具有很大的魔力，在某種場合下是大數(shù)據(jù)價值較好的說明。

二、什么是機(jī)器學(xué)習(xí)？

從廣義上來說，機(jī)器學(xué)習(xí)是種能夠賦予機(jī)器學(xué)習(xí)的能力以此讓它完成直接編程無法完成的功能的方法。但從實踐的意義上來說，機(jī)器學(xué)習(xí)是種通過利用數(shù)據(jù)，訓(xùn)練出模型，然后使用模型預(yù)測的種方法。

我們需要先在計算機(jī)中存儲歷史的數(shù)據(jù)。接著，我們將這些數(shù)據(jù)通過機(jī)器學(xué)習(xí)算法進(jìn)行處理，這個過程在機(jī)器學(xué)習(xí)中叫做“訓(xùn)練”，處理的結(jié)果可以被我們用來對新的數(shù)據(jù)進(jìn)行預(yù)測，這個結(jié)果般稱之為“模型”。對新數(shù)據(jù)的預(yù)測過程在機(jī)器學(xué)習(xí)中叫做“預(yù)測”?！坝?xùn)練”與“預(yù)測”是機(jī)器學(xué)習(xí)的兩個過程，“模型”則是過程的中間輸出結(jié)果，“訓(xùn)練”產(chǎn)生“模型”，“模型”指導(dǎo)“預(yù)測”。

人類在成長、生活過程中積累了很多的歷史與經(jīng)驗。人類定期地對這些經(jīng)驗進(jìn)行“歸納”，獲得了生活的“規(guī)律”。當(dāng)人類遇到未知的問題或者需要對未來進(jìn)行“推測”的時候，人類使用這些“規(guī)律”，對未知問題與未來進(jìn)行“推測”，從而指導(dǎo)自己的生活和工作。

機(jī)器學(xué)習(xí)中的“訓(xùn)練”與“預(yù)測”過程可以對應(yīng)到人類的“歸納”和“推測”過程。通過這樣的對應(yīng)，我們可以發(fā)現(xiàn)，機(jī)器學(xué)習(xí)的思想并不復(fù)雜，僅僅是對人類在生活中學(xué)習(xí)成長的個模擬。由于機(jī)器學(xué)習(xí)不是基于編程形成的結(jié)果，因此它的處理過程不是因果的邏輯，而是通過歸納思想得出的相關(guān)性結(jié)論。

這也可以聯(lián)想到人類為什么要學(xué)習(xí)歷史，歷史實際上是人類過往經(jīng)驗的總結(jié)。有句話說得很好，“歷史往往不一樣，但歷史總是驚人的相似”。通過學(xué)習(xí)歷史，我們從歷史中歸納出人生與國家的規(guī)律，從而指導(dǎo)我們的下一步工作，這是具有莫大價值的。