第8章 集成學(xué)習(xí)

《機(jī)器學(xué)習(xí)》作者周志華老師是集成學(xué)習(xí)大牛！

8.1 個(gè)體與集成

集成學(xué)習(xí)就是把多個(gè)個(gè)體學(xué)習(xí)器（基學(xué)習(xí)器）的結(jié)果集成起來。

既然是集成多個(gè)學(xué)習(xí)器的結(jié)果，那自然想讓集成學(xué)習(xí)的結(jié)果比基學(xué)習(xí)器強(qiáng)，那么基學(xué)習(xí)器需要滿足兩個(gè)條件：

1. 得是“弱學(xué)習(xí)器”，就是比隨機(jī)猜強(qiáng)一點(diǎn)，但是不是很強(qiáng)；（要好，但不多）

2. 基學(xué)習(xí)器之間要有差異性。

集成學(xué)習(xí)分為兩大類，一類是串行訓(xùn)練的，另一類是并行訓(xùn)練的。

8.2 Boosting

Boosting是串行訓(xùn)練的代表。

就是它的多個(gè)基學(xué)習(xí)器是有先后關(guān)系的，必須一個(gè)訓(xùn)練完后再訓(xùn)練下一個(gè)，因?yàn)樗鼈兪乔昂笙嚓P(guān)的。

代表算法是Adaboost，它只能用于二分類任務(wù)，難以推廣到多分類任務(wù)和回歸任務(wù)中。

8.3 Bagging與隨機(jī)森林

它們是并行訓(xùn)練的代表。

Bagging對(duì)生成器差異性采取的策略是樣本隨機(jī)。它采用的是自助采樣法。自主采樣還可以讓Bagging進(jìn)行包外估計(jì)。

隨機(jī)森林對(duì)(d是屬性個(gè)數(shù))。

從個(gè)人做過的項(xiàng)目看來，隨機(jī)森林yyds。RF真的太強(qiáng)啦！不僅強(qiáng)，還很快！

8.4 結(jié)合策略

平均法→分類任務(wù)

加權(quán)法→投票法

學(xué)習(xí)法：Stacking，我的理解就是把兩種學(xué)習(xí)器堆疊起來，類似StackGAN這種。還有我之前做過的CNN+RF等。

補(bǔ)充知識(shí)

來自第8章-集成學(xué)習(xí)（下）_嗶哩嗶哩_bilibili?https://www.bilibili.com/video/BV1Mh411e7VU?p=13&;vd_source=bcbba846b187e13b732c247c1d182351

Adaboost是Gradient Boosting的特殊形式。

GBDT以CART為基學(xué)習(xí)器，屬于Gradient Boosting。GBDT可以用于分類和回歸任務(wù)，其損失不同于Adaboost。

8.5、8.6略。