機器學習的分享
從零開始初識機器學習
本篇文章中我們將對機器學習做全面的了解與介紹，其中第一章 初識機器學習分為上下兩個小章節(jié)，對機器學習是什么、機器學習由來以及機器學習的理論等展開說明。目的是能讓即便完全沒接觸過機器學習的人也能在短時間對機器學習有一個全面了解。后續(xù)將推出機器學習的進階內(nèi)容，包括經(jīng)典基礎(chǔ)篇（線性模型、決策樹、集成學習、聚類等），實戰(zhàn)進階篇（特征工程、模型訓練與驗證、融合與部署等）。本篇為第一章 初識機器學習（上），我們從這里開始，開啟一個全新的學習旅程。
1 機器學習描述
1.1 機器學習是什么？
機器學習（Machine Learning，ML）是使用統(tǒng)計（或數(shù)學）技術(shù)從觀察到的數(shù)據(jù)中構(gòu)建模型（或系統(tǒng)）的一個計算機科學領(lǐng)域。機器學習用計算機程序模擬人的學習能力，從樣本數(shù)據(jù)中學習得到知識和規(guī)律，然后用于實際的推斷和決策。
從廣義上來說，機器學習能夠賦予“機器”學習的能力，使其實現(xiàn)直接編程無法完成的工作。但從實踐意義上來說，機器學習是利用數(shù)據(jù)訓練出模型，并使用模型進行預測的一種方法。“訓練”與“預測”是機器學習的兩個過程，“模型”則是過程中間的輸出結(jié)果，“訓練”產(chǎn)生“模型”，“模型”指導 “預測”。接下來我們把機器學習的過程與人類對歷史經(jīng)驗歸納演繹的過程做個比對。
機器學習中的“訓練”與“預測”過程可以對應(yīng)到人類的“歸納”和“演繹”過程。通過這樣的對應(yīng)，我們可以發(fā)現(xiàn)，機器學習的思想并不復雜，僅僅是對人類在生活中學習成長的一個模擬。由于機器學習不是基于編程形成的結(jié)果，因此它的處理過程不是因果的邏輯，而是通過歸納思想得出的相關(guān)性結(jié)論。
人類對歷史經(jīng)驗歸納過程
人類在成長、生活過程中積累了很多的歷史與經(jīng)驗。人類定期地對這些經(jīng)驗進行“歸納”，獲得了生活的“規(guī)律”。當人類遇到未知的問題或者需要對未來進行“推測”的時候，人類將使用這些“規(guī)律”，對未知問題與未來進行“演繹”，從而指導自己的生活和工作。
1.2 機器學習的應(yīng)用范圍
機器學習應(yīng)用廣泛，在各方面都有其施展的空間，包括：數(shù)據(jù)分析與挖掘、模式識別、虛擬助手和交通預測等。從行業(yè)來看，在金融領(lǐng)域（檢測信用卡欺詐、證券市場分析等）、互聯(lián)網(wǎng)領(lǐng)域（自然語言處理、語音識別、搜索引擎等）、醫(yī)學領(lǐng)域、自動化及機器人領(lǐng)域（無人駕駛、信號處理等）、游戲領(lǐng)域、刑偵領(lǐng)域等也都有所涉及。
1.2.1 數(shù)據(jù)分析與挖掘
“數(shù)據(jù)挖掘”和”數(shù)據(jù)分析”通常被相提并論，但無論是數(shù)據(jù)分析還是數(shù)據(jù)挖掘，都是在幫助人們收集與分析數(shù)據(jù)，使之成為信息并做出推測與判斷。因此可以將這兩項合稱為數(shù)據(jù)分析與挖掘。數(shù)據(jù)分析與挖掘是機器學習技術(shù)和大數(shù)據(jù)存儲技術(shù)結(jié)合的產(chǎn)物，利用機器學習手段分析海量數(shù)據(jù)，同時利用數(shù)據(jù)存儲機制實現(xiàn)數(shù)據(jù)的高效讀寫。機器學習在數(shù)據(jù)分析與挖掘領(lǐng)域中擁有無可取代的地位，2012年Hadoop進軍機器學習領(lǐng)域就是一個很好的例子。
1.2.2 模式識別
模式識別的應(yīng)用領(lǐng)域廣泛，包括計算機視覺、醫(yī)學圖像分析、光學文字識別、自然語言處理、語音識別、手寫識別、生物特征識別、文件分類、搜索引擎等，而這些領(lǐng)域也正是機器學習大展身手的舞臺，因此模式識別與機器學習的關(guān)系越來越密切。
1.2.3 虛擬助手
Siri，Alexa，Google?Now都是虛擬助手。在交互過程中，虛擬助手會協(xié)助查找信息，搜索相關(guān)歷史行為，或向其他資源（如電話應(yīng)用程序）發(fā)送命令收集更多信息，以滿足人們提出的需求。
1.2.4 交通預測
生活中我們經(jīng)常使用GPS導航服務(wù)，機器學習能夠幫助我們預測交通堵塞。當前高德地圖，騰訊地圖等都應(yīng)用了機器學習技術(shù)，識別擁擠路段，規(guī)劃最優(yōu)路線。
2 機器學習發(fā)展史
2.1 淺層學習階段
1957年，Rosenblatt發(fā)明了感知機（Perceptron），是神經(jīng)網(wǎng)絡(luò)的雛形，同時也是支持向量機的基礎(chǔ)，在當時引起了不小的轟動。
1959年，IBM的寫出了可以學習的西洋棋程序，并在 IBM Journal of Research and Development期刊上發(fā)表了一篇名為《Some Studies in Machine Learning Using the Game of Checkers》的論文中，定義并解釋了一個新詞——機器學習（Machine Learning，ML）。將機器學習非正式定義為“在不直接針對問題進行編程的情況下，賦予計算機學習能力的一個研究領(lǐng)域”。
1960年，Widrow發(fā)明了Delta學習規(guī)則，即如今的最小二乘問題，立刻被應(yīng)用到感知機中，并且得到了一個極好的線性分類器。
1970年，Seppo Linnainmaa首次完整地敘述了自動鏈式求導方法（Automatic Differentiation，AD），是著名的反向傳播算法（Back Propagation，BP）的雛形，但在當時并沒有引起重視。
1974年，Werbos首次提出把BP算法的思想應(yīng)用到神經(jīng)網(wǎng)絡(luò)，也就是多層感知機（Multilayer Perception，MLP），并在1982年實現(xiàn)，就是現(xiàn)在通用的BP算法，促成了第二次神經(jīng)網(wǎng)絡(luò)大發(fā)展。
1985-1986年，Rumelhart，Hinton等許多神經(jīng)網(wǎng)絡(luò)學者成功實現(xiàn)了實用的BP算法來訓練神經(jīng)網(wǎng)絡(luò)，并在很長一段時間內(nèi)BP都作為神經(jīng)網(wǎng)絡(luò)訓練的專用算法。
1986年，J.R.Quinlan提出了另一個同樣著名的ML算法—決策樹算法（Iterative Dichotomiser 3，ID3），決策樹作為一個預測模型，代表的是對象屬性與對象值之間的一種映射關(guān)系，而且緊隨其后涌現(xiàn)出了很多類似或者改進算法，如ID4，回歸樹，CART等。
1995年，Yan LeCun提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN），受生物視覺模型的啟發(fā)，通常有至少兩個非線性可訓練的卷積層，兩個非線性的固定卷積層，模擬視覺皮層中的V1，V2，Simple cell和Complex cell，在手寫字識別等小規(guī)模問題上，取得了當時世界最好結(jié)果，但是在大規(guī)模問題上表現(xiàn)不佳。
1995年，Vapnik和Cortes提出了強大的支持向量機（Support Vector Machine，SVM），主要思想是用一個分類超平面將樣本分開從而達到分類效果，具有很強的理論論證和實驗結(jié)果。至此，ML分為NN和SVM兩派。
1997年，F(xiàn)reund和Schapire提出了另一個堅實的ML模型AdaBoost，該算法最大的特點在于組合弱分類器形成強分類器，可以形象地表述為：“三個臭皮匠賽過諸葛亮”，分類效果比其它強分類器更好。
2001年，隨著核方法的提出，SVM大占上風，它的主要思想就是通過將低維數(shù)據(jù)映射到高維，從而實現(xiàn)線性可分。至此，SVM在很多領(lǐng)域超過了NN模型。除此之外，SVM還發(fā)展了一系列針對NN模型的基礎(chǔ)理論，包括凸優(yōu)化、范化間隔理論和核方法。
2001年，Breiman提出了一個可以將多個決策樹組合起來的模型隨機森林（Random Forest，RF），它可以處理大量的輸入變量，有很高的準確度，學習過程很快，不會產(chǎn)生過擬合問題，具有很好的魯棒性。
2001年，Hochreiter發(fā)現(xiàn)使用BP算法時，在NN單元飽和之后會發(fā)生梯度損失（梯度擴散）。簡單來說就是訓練NN模型時，超過一定的迭代次數(shù)后，容易過擬合。NN的發(fā)展一度陷入停滯狀態(tài)。
2.2 深度學習階段
二十一世紀初，學界掀起了以“深度學習”為名的熱潮。所謂深度學習？狹義地說就是“很多層”的神經(jīng)網(wǎng)絡(luò)。在若干測試和競賽上，尤其是涉及語音、圖像等復雜對象的應(yīng)用中，深度學習技術(shù)取得了優(yōu)越性能。以往機器學習技術(shù)在應(yīng)用中要取得好性能，對使用者的要求較高；而深度學習技術(shù)涉及的模型復雜度非常高，以至于只要下工夫“調(diào)參”，只要把參數(shù)調(diào)節(jié)好，性能往往就好。因此，深度學習雖缺乏嚴格的理論基礎(chǔ)，但它顯著降低了機器學習應(yīng)用者的門檻，為機器學習技術(shù)走向工程實踐帶來了便利。那么它為什么此時才熱起來呢？有兩個原因，一是數(shù)據(jù)量增大了，二是計算能力強了。深度學習模型擁有大量參數(shù)，若數(shù)據(jù)樣本少，則很容易“過擬合”。如此復雜的模型、如此大的數(shù)據(jù)樣本，若缺乏強力計算設(shè)備，根本無法求解。恰恰人類進入了大數(shù)據(jù)時代，數(shù)據(jù)儲量與計算設(shè)備都有了大發(fā)展，才使得深度學習技術(shù)又煥發(fā)一春。
2006年，Hinton和他的學生在《Nature》上發(fā)表了一篇深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）的文章，從此開啟了深度學習（Deep Learning，DL）階段，掀起了深度神經(jīng)網(wǎng)絡(luò)即深度學習的浪潮。
2009年，微軟研究院和Hinton合作研究基于深度神經(jīng)網(wǎng)絡(luò)的語音識別，歷時兩年取得成果，徹底改變了傳統(tǒng)的語音識別技術(shù)框架，使得相對誤識別率降低25%。
2012年，Hinton又帶領(lǐng)學生在目前最大的圖像數(shù)據(jù)庫ImageNet上，基于深度神經(jīng)網(wǎng)絡(luò)對圖分類問題取得了驚人的結(jié)果，將Top5錯誤率由26%大幅降低至15%。（ImageNet 是一個計算機視覺系統(tǒng)識別項目，是目前世界上圖像識別最大的數(shù)據(jù)庫。是美國斯坦福的計算機科學家，模擬人類的識別系統(tǒng)建立的。能夠從圖片識別物體。）
2012年，由人工智能和機器學習頂級學者Andrew Ng和分布式系統(tǒng)頂級專家Jeff Dean領(lǐng)銜的夢幻陣容，開始打造Google Brain項目，用包含16000個CPU核的并行計算平臺訓練超過10億個神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)，在語音識別和圖像識別等領(lǐng)域取得了突破性的進展。該系統(tǒng)通過分析YouTube上選取的視頻，采用無監(jiān)督的方式訓練深度神經(jīng)網(wǎng)絡(luò)，可將圖像自動聚類。在系統(tǒng)中輸入“cat”后，結(jié)果在沒有外界干涉的條件下，識別出了貓臉。
2012年，微軟首席研究官Rick Rashid在21世紀的計算大會上演示了一套自動同聲傳譯系統(tǒng)，將他的英文演講實時轉(zhuǎn)換成與他音色相近、字正腔圓的中文演講。同聲傳譯需要經(jīng)歷語音識別、機器翻譯、語音合成三個步驟。該系統(tǒng)一氣呵成，流暢的效果贏得了一致認可，深度學習則是這一系統(tǒng)中的關(guān)鍵技術(shù)。
2013年，Google收購了一家叫DNN Research的神經(jīng)網(wǎng)絡(luò)初創(chuàng)公司，這家公司只有三個人，Geoffrey Hinton和他的兩個學生。這次收購并不涉及任何產(chǎn)品和服務(wù)，只是希望Hinton可以將深度學習打造為支持Google未來的核心技術(shù)。同年，紐約大學教授，深度學習專家Yann LeCun加盟Facebook，出任人工智能實驗室主任，負責深度學習的研發(fā)工作，利用深度學習探尋用戶圖片等信息中蘊含的海量信息，希望在未來能給用戶提供更智能化的產(chǎn)品使用體驗。
2013年，百度成立了百度研究院及下屬的深度學習研究所（Institute of Deep Learning，IDL），將深度學習應(yīng)用于語音識別和圖像識別、檢索，以及廣告CTR預估（Click-Through-Rate Prediction，CTR），其中圖片檢索達到了國際領(lǐng)先水平。
2014年，谷歌宣布其首款成型的無人駕駛原型車制造完畢，將會在2015年正式進行路測。
2016年，谷歌旗下DeepMind公司開發(fā)的人工智能程序AlphaGo擊敗圍棋職業(yè)九段選手李世石。
2017年，DeepMind團隊公布了最強版AlphaGo，代號AlphaGo Zero，它能在無任何人類輸入的條件下，從空白狀態(tài)學起，自我訓練的時間僅為3天，自我對弈的棋局數(shù)量為490萬盤，能以100:0的戰(zhàn)績擊敗前輩。
3 易混淆領(lǐng)域梳理
3.1 機器學習與人工智能
人工智能（Artificial Intelligence，AI）是計算機科學的一個分支，它企圖了解智能的本質(zhì)，生產(chǎn)出一種能比肩人類，并做出智能反應(yīng)的機器。我們都知道機器學習是人工智能最重要的一種實現(xiàn)方法，但機器學習并不是人工智能一開始就采用的方法。人工智能的發(fā)展主要經(jīng)歷了邏輯推理，專家系統(tǒng)，機器學習三個階段。
第一階段的重點是邏輯推理，例如數(shù)學定理的證明，這類方法采用符號邏輯來模擬人類智能。
第二階段的重點是專家系統(tǒng)，這類方法為各個領(lǐng)域的問題建立專家知識庫，利用這些知識來完成推理和決策。比如將醫(yī)生的診斷經(jīng)驗轉(zhuǎn)化成一個知識庫，然后用這些知識對病人進行診斷。
第三階段的重點即為機器學習，如今的人工智能主要依賴的不再是邏輯推理和專家系統(tǒng)，而是建立在機器學習的基礎(chǔ)上解決復雜問題。無論是基于數(shù)學的機器學習模型，還是基于神經(jīng)網(wǎng)絡(luò)的深度學習模型，都活躍在如今大多數(shù)人工智能應(yīng)用程序之中。
3.2 機器學習與深度學習
深度學習（Deep Learning，DL）是機器學習的一個重要分支，深度學習和機器學習的關(guān)系屬于繼承和發(fā)展的關(guān)系。在很多人工智能問題上，深度學習的方法加上大數(shù)據(jù)的出現(xiàn)以及計算機運行速度的提高，更突出了人工智能的前景。比如，自動駕駛汽車，足以徹底改變我們的出行方式，它的實現(xiàn)就需要深度學習的圖像識別技術(shù)，需要用到卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）來識別馬路上的行人、紅綠燈等。
為了更清晰的認識深度學習，我們首先介紹神經(jīng)網(wǎng)絡(luò)（Neural Networks, NN），顧名思義，它是一種模仿動物神經(jīng)網(wǎng)絡(luò)行為特征，進行分布式并行信息處理的算法數(shù)學模型。神經(jīng)網(wǎng)絡(luò)有輸入層、隱藏層（中間層）以及輸出層，其中輸入層負責神經(jīng)網(wǎng)絡(luò)的輸入，輸出層負責產(chǎn)生輸入的映射。機器學習中的邏輯回歸，可以看作是一層的神經(jīng)網(wǎng)絡(luò)，即除了輸入層、輸出層之外只有一個隱藏層。
而深度學習，就是指神經(jīng)網(wǎng)絡(luò)使用了很多隱藏層。
那么深度學習的每一層都在學什么？？
當你輸入一張臉部的照片時，神經(jīng)網(wǎng)絡(luò)的第一中間層，可以看成是一個特征探測器或者邊緣探測器，它會去找這張照片的各個邊緣（第一張圖片）；第二中間層又把照片里組成邊緣的像素們放在一起看，然后它可以把被探測到的邊緣組合成面部的不同部分（第二張圖片），有眼睛、鼻子等；最后再把這些部分放在一起，比如鼻子眼睛嘴巴，就可以識別或者探測不同的人臉（第三張圖片）。
3.3 機器學習與數(shù)據(jù)挖掘
數(shù)據(jù)挖掘（Data Mining，DM）是指從大量的數(shù)據(jù)中搜索隱藏于其中信息的過程。機器學習是數(shù)據(jù)挖掘的重要工具之一，但數(shù)據(jù)挖掘不僅僅要研究、拓展、應(yīng)用一些機器學習方法，還要通過許多非機器學習技術(shù)解決大規(guī)模數(shù)據(jù)與數(shù)據(jù)噪音等實際問題。大體上看，數(shù)據(jù)挖掘可以視為機器學習和大數(shù)據(jù)的交叉，它主要利用機器學習提供的技術(shù)來分析海量數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)來管理海量數(shù)據(jù)。
3.4 機器學習與統(tǒng)計學
1.統(tǒng)計學簡述
統(tǒng)計學（Statistics）是基于數(shù)據(jù)構(gòu)建概率統(tǒng)計模型并運用模型對數(shù)據(jù)進行分析與預測的一門學科。統(tǒng)計學依托背后的數(shù)學理論，在遠早于機器學習大爆發(fā)的幾十年，率先從解釋因果的角度，努力尋找最優(yōu)函數(shù)（或模型）。統(tǒng)計學里最重要的兩個部分是回歸分析和假設(shè)檢驗。其他的方法或者技術(shù)在統(tǒng)計學這個大框架下，最終也是為了這兩者服務(wù)的?；貧w分析提供了解釋因果的武器，假設(shè)檢驗則給這項武器裝上了彈藥。單純的線性回歸用最小二乘法求解逼近事實的真相，再使用顯著性檢驗，檢測變量的顯著性、模型的顯著性、模型的擬合精度。當然是否屬于線性，也可以使用假設(shè)檢驗的方法檢測。非線性回歸的問題，使用極大似然估計或者偏最小二乘回歸求解模型，后續(xù)的顯著性檢驗仍然是一樣的思路。
2.機器學習與統(tǒng)計學對比
統(tǒng)計學是個與機器學習高度重疊的學科，統(tǒng)計學近似等于機器學習。但是在某種程度上兩者是有分別的，這個分別在于：統(tǒng)計學是理論驅(qū)動，對數(shù)據(jù)分布進行假設(shè)，以強大的數(shù)學理論解釋因果，注重參數(shù)推斷，側(cè)重統(tǒng)計模型的發(fā)展與優(yōu)化；機器學習是數(shù)據(jù)驅(qū)動，依賴于大數(shù)據(jù)規(guī)模預測未來，弱化了收斂性問題，注重模型預測，側(cè)重解決問題。
3.5 機器學習算法與“普通”算法的異同
這里我們以《算法導論》中所詮釋的算法作為機器學習算法的比較對象。其相同點，兩者的目的都是通過制定目標，增加約束，求得最優(yōu)的模型。不同點是《算法導論》里的“算法”，本質(zhì)上是如何更有效率地求解具有精確解的問題。效率，可以是計算時間更短，也可以是計算過程所需要的空間更少。而機器學習算法要解決的問題一般沒有精確解，也不能用窮舉或遍歷這種步驟明確的方法求解。這里需要強調(diào)的是“學習”這個屬性，即希望算法本身能夠根據(jù)給定的數(shù)據(jù)或變化的計算環(huán)境而動態(tài)地發(fā)現(xiàn)新的規(guī)律，甚至改變機器學習算法的邏輯和行為。
