進(jìn)化計(jì)算 深度學(xué)習(xí)，多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

訓(xùn)練集，校驗(yàn)集，測(cè)試集

過學(xué)習(xí)時(shí)，模型的泛化能力降低，也就是解決不了沒有見過的問題。防止過學(xué)習(xí)，也就是提高模型的泛化能力，使得模型能夠正確解決從未見過的問題的能力。

最怕陷入局部最優(yōu)解。

誤差來(lái)回波動(dòng)，也就是震蕩，是因?yàn)閷W(xué)習(xí)率太大。學(xué)習(xí)率是可以隨著訓(xùn)練過程動(dòng)態(tài)調(diào)整的

前饋型網(wǎng)絡(luò)，也就是BP網(wǎng)絡(luò)

Elman Network

Support Vector Machines 支持向量機(jī) SVM

SVM本質(zhì)上是線性分類器

選擇margin較大的選擇器

有用的點(diǎn)叫做Support Vectors

支持向量機(jī)保證margin最大

1.樣本分對(duì) 2.最大化margin

目標(biāo)函數(shù) 拉格朗日乘數(shù)法

做好映射，就能把復(fù)雜問題變成簡(jiǎn)單問題

升維

SVM的核心操作是向量做內(nèi)積

Kernel 核

核函數(shù)是提高SVM分類能力的關(guān)鍵

最初的SVM就是線性分類器，為了使margin最大，所以導(dǎo)出Linear SVM。但是實(shí)際問題中，樣本點(diǎn)是交錯(cuò)的，是無(wú)論如何用直線是不可分的，所以就有了soft SVM，將數(shù)據(jù)升維，將低維的不可分化為高維的可分。

為了解決線性不可分問題，需要把數(shù)據(jù)映射到高維空間，就變成了線性可分問題。但是高位空間中，計(jì)算非常復(fù)雜，那就用一個(gè)核函數(shù)來(lái)簡(jiǎn)化計(jì)算。

VC Dimension

一條直線可以將三個(gè)點(diǎn)完美地分開，但是四個(gè)點(diǎn)就不行，那么“直線”這個(gè)模型的VC Dimension就是3。

矩形框可以將四個(gè)及以下的點(diǎn)完美地分開，但是五個(gè)及以上就不行了，說(shuō)明矩形的VC Dimension是4.

一個(gè)模型可以將多少個(gè)點(diǎn)完美地分開，那么這個(gè)模型的VC Dimension 就是多少。

在n維空間中，VC dimension就是n+1.

比如，二維中，VC Dimension是3.

越復(fù)雜的模型，在未知樣本中的風(fēng)險(xiǎn)就越大。所以，面對(duì)兩個(gè)效果相同的模型，應(yīng)該選擇那個(gè)更簡(jiǎn)單的。

聚類 聚類模式

層次性聚類 在不同的層面，有不同的聚類規(guī)則

如中國(guó)人可分為各個(gè)省的人，各個(gè)省又分很多市。

聚類分析，尋找相似的事物，然后聚為一類。

簇內(nèi)部差異較小，簇與簇之間差別較大。

Inter-Cluster outer-Cluster

事物之間距離的度量取決于具體的需求，比如從性別看，男生和男生更接近，女生和女生更接近。從關(guān)系上看，我們一家人更接近。

論學(xué)

不是為了學(xué)習(xí)而學(xué)習(xí)，而是為了變強(qiáng)而學(xué)習(xí)。

為什么要變強(qiáng)？因?yàn)槲易儚?qiáng)符合所有人的利益，所有人都期望我變強(qiáng)。哪怕是我的敵人。所以，我就眾望所歸，努力變強(qiáng)。因此，我要學(xué)習(xí)。

Silhouette 剪影 衡量聚類結(jié)果的函數(shù)

K-Means

首先生成K個(gè)隨機(jī)中心點(diǎn)

然后把樣本點(diǎn)分配到距它最近的中心點(diǎn)

然后用k個(gè)均值點(diǎn)來(lái)代替中心點(diǎn)

然后不斷迭代

噪點(diǎn)對(duì)均值的影響很大

初始點(diǎn)選的不好容易這個(gè)樣子

基于模型的聚類 概率密度估計(jì)

混合高斯模型，一個(gè)高斯分不開，那就用一組。

最大似然估計(jì)

隱含參數(shù)，雖然不是我們的目標(biāo)參數(shù)，但是它的地位類似于輔助線，幫助我們更好地解決問題。

基于密度的聚類，類似于人眼對(duì)事物的感覺

DBSCAN 連通性 膨脹算法

Core Point 核心點(diǎn) Border Point 邊緣點(diǎn)

確定一個(gè)核心點(diǎn)后，膨脹，將盡可能多的點(diǎn)包含在一個(gè)簇中。

層次型聚類，聚類結(jié)果取決于從哪個(gè)或者哪些層面考察。

從最底層開始，把所有層面上的簇都聚在一起，直到左右的樣本被聚為一類。中間是各個(gè)層面上的簇，根據(jù)需要去選擇相應(yīng)的層面。

最小生成樹

關(guān)聯(lián)規(guī)則 Association Rule

頻繁集 關(guān)聯(lián)規(guī)則

item 項(xiàng)，商品 itemset 項(xiàng)集 K-itemset 有k個(gè)商品的集 Transactions交易記錄

support 支持度，本質(zhì)上就是頻率

買了牛奶的人同時(shí)買了面包這條規(guī)則的支持度，就是買了牛奶的人中同時(shí)買了面包的人的百分比

我們需要發(fā)現(xiàn)支持度高的規(guī)則。

Confidence 置信度

簡(jiǎn)單的說(shuō)，就是條件概率

頻繁項(xiàng) 強(qiáng)規(guī)則

一個(gè)規(guī)則很強(qiáng)，不代表它就是有益的。

Association≠Causality

有相關(guān)性，但不能代表有因果關(guān)系。

復(fù)雜度 The Apriori Method

一個(gè)事物不頻繁，那么包含他的超集也必然不頻繁，那就去掉所有包含不頻繁事物的集合，剩下的，就是比較強(qiáng)大的規(guī)律?？梢源蟠蟮販p少計(jì)算量。

生成 計(jì)數(shù) 過濾

序列模式

主體的一個(gè)行為背后大概率對(duì)應(yīng)著其他的行為，這種行為的先后關(guān)聯(lián)，就是序列模式。

推薦算法 Recommendation Algorithms

向量空間模型 隱含模式分析

推薦的兩個(gè)門類：基于內(nèi)容的推薦 協(xié)同過濾

我們不是討厭廣告，而是討厭那些自己不需要的廣告。給光頭賣洗發(fā)水，給盲人賣眼鏡。

合適的推薦在商業(yè)中極其重要

TF-IDF Term Frequency 頻率 Inverse Document Freuency tf*idf

單詞-文本矩陣

向量空間模型

協(xié)同過濾 Collaborative Filtering

比如要推測(cè)一個(gè)人喜不喜歡某部電影，就去詢問和他有相同喜好、品味的人喜不喜歡這部電影。進(jìn)而推測(cè)出目標(biāo)主體喜歡這個(gè)電影的概率。

冷啟動(dòng) 打分矩陣 相關(guān)性

集成學(xué)習(xí) 集體決策、共同頭片來(lái)確定一件事情的例子，轉(zhuǎn)化成算法，就是集成學(xué)習(xí)。

一個(gè)分類器達(dá)不到那么高的準(zhǔn)確度，那就多整幾個(gè)分類器，最后合起來(lái)。

又稱為多分類器系統(tǒng) 他不是某個(gè)具體的算法，而是算法的集合。

同一組輸入，交給不同的分類器、模型，最后把所有的分類器、模型的輸出綜合在一起，再做最終輸出。

我不多選一，我全都要

Combiners

不同的分類器，有不同的權(quán)重。權(quán)重代表重要性。

不同的分類器用來(lái)集成學(xué)習(xí)才是有意義的。若是所有人都發(fā)出同一種聲音，那么所謂的群策群力就沒意義了，還不如問一個(gè)人。

要保證用來(lái)集成學(xué)習(xí)的分類器生成的模型大體上相似，但是又各有不同。

不需要保證每個(gè)分類器都很強(qiáng)，用很弱的分類器，可以合成很強(qiáng)大的分類器。用很強(qiáng)的分類器來(lái)進(jìn)行集成學(xué)習(xí)，效果不一定好。

如何生成不同的訓(xùn)練樣本，同時(shí)服從相似的分布？

Bootstarp Samples 有放回的采樣

1.拿來(lái)一個(gè)數(shù)據(jù)集 2.采樣n次，生成n個(gè)樣本 3.用來(lái)生成n個(gè)分類器 4.然后那種結(jié)論多，就是輸出哪種結(jié)論

隨機(jī)森林 將很多樹組合在一起。

用bootstrap,自然情況下，就會(huì)有三分之一的元素不被選中。那些被選中的就是訓(xùn)練集，那些沒被選中的，就是自然生成的測(cè)試集。

一般不少于500棵樹，具體數(shù)量要根據(jù)具體情況來(lái)確定。

feature selection 屬性選擇 RF Random Forest隨機(jī)森林

Stacking 分層定高盤旋

兩層訓(xùn)練， 第一層，輸入數(shù)據(jù)，子分類器輸出相應(yīng)的輸出。第二層，訓(xùn)練第一層輸出的權(quán)重。

boosting 激勵(lì) 訓(xùn)練分類器

基本思想：先訓(xùn)練兩個(gè)分類器，然后對(duì)比兩個(gè)分類器的結(jié)果。如果某樣本在兩個(gè)分類其中的分類結(jié)果不一致，說(shuō)明兩個(gè)分類器中肯定有一個(gè)分錯(cuò)了。對(duì)經(jīng)常犯錯(cuò)的樣本加上權(quán)重，然后讓后續(xù)的分類器來(lái)重點(diǎn)學(xué)習(xí)這些前級(jí)分類器會(huì)出錯(cuò)的樣本。核心思想就是對(duì)經(jīng)常分錯(cuò)的樣本進(jìn)行重點(diǎn)照顧。

bagging能夠降低模型的various

boosting對(duì)基礎(chǔ)分類器的要求很弱很弱，甚至強(qiáng)過隨機(jī)猜測(cè)就行。它是很多個(gè)較弱的分類器加在一起，勝過一個(gè)絕強(qiáng)的分類器。

模型串行訓(xùn)練，最后將所有的模型結(jié)合起來(lái)用。

十大算法之一

動(dòng)態(tài)權(quán)重 根據(jù)不同的樣本，分類器們各自擁有不同的權(quán)重。

bagging是并行生成，boosting是串行生成。

進(jìn)化計(jì)算 進(jìn)化 適者生存，而不是強(qiáng)者生存。

真正厲害的是能夠完美適應(yīng)環(huán)境變化的。

我們要學(xué)習(xí)自然，從自然中找靈感，而不是完全模仿自然。

優(yōu)化問題 以需求為核心，以選擇和行為為輔助，選擇最能滿足需求的做法。

目標(biāo)函數(shù) Objective Function

計(jì)算機(jī)最快可以算多快？和重量有關(guān)，開關(guān)開關(guān)，需要能量，能量和質(zhì)量有關(guān)。能量的最小單位是能量子，與普朗克常數(shù)有關(guān)。

質(zhì)量可以轉(zhuǎn)化為算力，也就是理論上單位質(zhì)量最大的算力。

用求導(dǎo)去優(yōu)化，容易陷入局部最優(yōu)的困境。

這時(shí)候可以用并行搜索，讓多個(gè)模型同時(shí)搜索，這樣就能盡量避免單一的模型陷入局部最優(yōu)解。

Blondie 24 協(xié)同進(jìn)化，自己跟自己下，水平提高。

一般情況下，程序的能力無(wú)法超過設(shè)計(jì)者的水平?；蛘吣芰υ诔绦虮辉O(shè)計(jì)的一開始就被定死了。但是使用進(jìn)化計(jì)算的程序，它可以自我進(jìn)化，可以逐漸提升自己的能力。

Gene 基因 Gene Trait 基因控制的性狀 Allele 性狀的集合

Genetic Algorithms 遺傳算法 John Holland

chromosome 染色體 Mutation 變異

Representation表達(dá) Crossover雜交

精英選擇，把原來(lái)最好的，直接保送到下一代，防止雜交使得原來(lái)好的，變成不好的。

一點(diǎn)雜交 One Point Crossover 選擇一個(gè)雜交位，其后面的交換位置，前面的不變。

Two Point Crossover 兩點(diǎn)雜交 Uniform Crossover

Mutation 變異，保證基因的多樣性。

雜交，選擇出合適的基因組合。

選擇，給最優(yōu)秀的個(gè)體以資源傾斜。

在遺傳算法中兩個(gè)親本雜交毫無(wú)意義，但是在GP中確實(shí)有意義的。

進(jìn)化電路 Evolvable Circuits 可編程電路

Artificial Life

理論上講，機(jī)器是人的身體與意志的延申，機(jī)器人、人工智能反過來(lái)壓迫人類的情況，就像是人的手腳奴役人類一樣。這可能會(huì)發(fā)生，比如某些壞習(xí)慣會(huì)讓人控制不住自己的手腳，但是，相較于它們帶來(lái)的收益或者進(jìn)步意義來(lái)說(shuō)，風(fēng)險(xiǎn)是可以接受的。