機器學(xué)習(xí)革命

• 香農(nóng)以“信息論之父”而為人所知，他第一個意識到晶體管的活動就是在運算，因為晶體管開了又關(guān)，是對其他晶體管的回應(yīng)。

• 計算機是各種晶體管的大集合。
  

• 算法就是一系列指令，告訴計算機該做什么。這些指令必須精確且不能模糊。

• 算法設(shè)計是復(fù)雜的

• 空間復(fù)雜性

• 時間復(fù)雜性

• 人類的復(fù)雜性

• 算法 + 數(shù)據(jù) => 結(jié)果

• 學(xué)習(xí)算法（機器學(xué)習(xí)） + （數(shù)據(jù)和結(jié)果）=> 算法

• 有些學(xué)習(xí)算法學(xué)習(xí)知識（知識往往以統(tǒng)計模型出現(xiàn)，例如：所有人都會死）

• 有些學(xué)習(xí)算法學(xué)習(xí)技能（技能往往以程序的形式出現(xiàn)，例如：馬路向左彎曲）

• 通過機器學(xué)習(xí)，計算機就會自己編寫程序

• 人們能編寫許多計算機無法學(xué)習(xí)的程序

• 計算機也能學(xué)習(xí)人們無法編寫出來的程序（例如：辨認字跡、開車）

• 機器學(xué)習(xí)是人工智能的子域，而機器學(xué)習(xí)可以說是其中最重要的部分。因為如果沒有學(xué)習(xí)，計算機就永遠無法跟上人類的步伐。

• 計算機科學(xué)通常需要的是準確思維，但機器學(xué)習(xí)需要的是統(tǒng)計思維。

• 從計算機到互聯(lián)網(wǎng)再到機器學(xué)習(xí)的進步是必然的：計算機使互聯(lián)網(wǎng)成為可能，互聯(lián)網(wǎng)又產(chǎn)生大量數(shù)據(jù)以及無限選擇這個問題，機器學(xué)習(xí)可以用來克服信息超載。

• 如果你不將大數(shù)據(jù)變成知識，它將毫無用處，可以世界上沒有那么多科學(xué)家來完成這件事。

• 長尾效應(yīng)：“頭”（head）和“尾”（tail）是兩個統(tǒng)計學(xué)名詞。正態(tài)曲線中間的突起部分叫“頭”；兩邊相對平緩的部分叫“尾”。從人們需求的角度來看，大多數(shù)的需求會集中在頭部，而這部分我們可以稱之為流行，而分布在尾部的需求是個性化的，零散的小量的需求。而這部分差異化的、少量的需求會在需求曲線上面形成一條長長的“尾巴”，而所謂長尾效應(yīng)就在于它的數(shù)量上，將所有非流行的市場累加起來就會形成一個比流行市場還大的市場。

• 機器學(xué)習(xí)領(lǐng)域存在不同思想的學(xué)派

• 符號學(xué)派

• 所有的信息都可以簡化為操作符號。

• 他們的主算法是逆向演繹。

• 聯(lián)結(jié)學(xué)派

• 學(xué)習(xí)就是大腦所做的事情

• 聯(lián)結(jié)學(xué)派的主算法是反向傳播學(xué)習(xí)算法

• 進化學(xué)派

• 所有形式的學(xué)習(xí)都源于自然選擇

• 主算法是基因編程

• 貝葉斯學(xué)派

• 所有掌握的知識都有不確定性，而且學(xué)習(xí)知識的過程也是一種不確定的推理形式

• 主算法就是貝葉斯定理及其衍生定理

• 類推學(xué)

• 學(xué)習(xí)的關(guān)鍵就是要在不同場景中認識到相似性，然后由此推導(dǎo)出其他相似性。

• 主算法就是支持向量機。