機(jī)器學(xué)習(xí) Machine learning（上）

2023-03-31 16:15 作者:林木青同學(xué) 0人讀過 | 我要投稿

今天開一個(gè)新的學(xué)習(xí)旅程，講機(jī)器學(xué)習(xí)和學(xué)習(xí)機(jī)器學(xué)習(xí)！

1 機(jī)器學(xué)習(xí)的類型

分類和回歸樹 Classifaication and regression tree (CART)

廣義自助模型 Generalized bossting models (GBM)

人工神經(jīng)網(wǎng)絡(luò) Artificial neural networks(ANN)

規(guī)則集生成的遺傳算法 Genetic algorithm for rule set production (GARP)

最大熵法 Maximum entropy method (Maxent)

支持向量機(jī) Support vector machine (SVM)

隨機(jī)森林 Random forest

2? 分類樹/回歸樹（CART）

可以通過基于屬性值測(cè)試將源集劃分為子集來構(gòu)建樹。這個(gè)過程以一種稱為遞歸分區(qū)的遞歸方式在每個(gè)派生子集上重復(fù)。當(dāng)一個(gè)節(jié)點(diǎn)上的子集具有所有相同的目標(biāo)變量值時(shí)，或者當(dāng)分裂不再增加預(yù)測(cè)值時(shí)，遞歸就完成了。

數(shù)據(jù)是R自帶的iris，鳶尾花卉數(shù)據(jù)集（iris），是一類多重變量分析的數(shù)據(jù)集。數(shù)據(jù)集包含150個(gè)數(shù)據(jù)樣本，分為3類，每類50個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)包含4個(gè)屬性?？赏ㄟ^花萼長(zhǎng)度，花萼寬度，花瓣長(zhǎng)度，花瓣寬度4個(gè)屬性預(yù)測(cè)鳶尾花卉屬于（Setosa，Versicolour，Virginica）三個(gè)種類中的哪一類，格式如下：

代碼：

畫的分類樹如下：

根據(jù)花萼長(zhǎng)度，花萼寬度，花瓣長(zhǎng)度，花瓣寬度4個(gè)屬性預(yù)測(cè)鳶尾花卉屬于（Setosa，Versicolour，Virginica）的概率如下：

這里用的數(shù)據(jù)集是mtcars，前幾期講過這個(gè)數(shù)據(jù)集的結(jié)構(gòu)。畫的回歸樹如下：

根據(jù)車的cyl + disp + hp +drat + wt + qsec這幾個(gè)參數(shù)，預(yù)測(cè)mpg如下：

3 廣義自助模型（BRT）

Boosting是一種以貪婪方式迭代添加基函數(shù)的過程，以便每個(gè)額外的基函數(shù)進(jìn)一步減少所選損失函數(shù)。例如，梯度增強(qiáng)(Gradient Boosting)是一種用于回歸問題的機(jī)器學(xué)習(xí)技術(shù)，它以弱預(yù)測(cè)模型(通常是決策樹)集成的形式生成預(yù)測(cè)模型。它像其他增強(qiáng)方法一樣以分段方式構(gòu)建模型，并通過允許優(yōu)化任意可微損失函數(shù)來推廣它們。這里數(shù)據(jù)我們自己構(gòu)建一個(gè)數(shù)據(jù)集，數(shù)據(jù)結(jié)構(gòu)如下：我們想要用X1+X2+X3+X4+X5預(yù)測(cè)Y。

代碼：

看出預(yù)測(cè)結(jié)果呈線性模型，預(yù)測(cè)結(jié)果還是不錯(cuò)的！

4?人工神經(jīng)網(wǎng)絡(luò)（ANN）

神經(jīng)網(wǎng)絡(luò)由一組相互連接的人工神經(jīng)元組成，它使用連接主義方法來處理信息。在大多數(shù)情況下，人工神經(jīng)網(wǎng)絡(luò)是一種自適應(yīng)系統(tǒng)，它在學(xué)習(xí)階段根據(jù)流經(jīng)網(wǎng)絡(luò)的外部或內(nèi)部信息改變其結(jié)構(gòu)?，F(xiàn)代神經(jīng)網(wǎng)絡(luò)是非線性統(tǒng)計(jì)數(shù)據(jù)建模工具。它們通常用于對(duì)輸入和輸出之間的復(fù)雜關(guān)系進(jìn)行建模，或在數(shù)據(jù)中查找模式。