這是另一種用于修改特征向量的數(shù)據(jù)預(yù)處理技術(shù)。這種修改對(duì)于在通用尺度上測(cè)量特征向量是必要的。以下是可用于機(jī)器學(xué)習(xí)的兩種歸一化類型 -

L1歸一化

它也被稱為最小絕對(duì)偏差。這種歸一化會(huì)修改值，使每行中的絕對(duì)值總和始終為 1。它可以在以下 Python 代碼的幫助下在輸入數(shù)據(jù)上實(shí)現(xiàn) -

#?Normalize?data
data_normalized_l1?=?preprocessing.normalize(input_data,?norm?=?'l1')
print("
L1?normalized?data:
",?data_normalized_l1)

上面的代碼行生成以下輸出 &miuns;

L1?normalized?data:
[[?0.22105263??-0.2??????????0.57894737]
[?-0.2027027????0.32432432???0.47297297]
[??0.03571429??-0.56428571???0.4???????]
[??0.42142857???0.16428571??-0.41428571]]

L2 歸一化

它也稱為最小二乘法。這種歸一化會(huì)修改值，使每行的平方和始終等于 1。它可以在以下 Python 代碼的幫助下在輸入數(shù)據(jù)上實(shí)現(xiàn) -

#?Normalize?data
data_normalized_l2?=?preprocessing.normalize(input_data,?norm?=?'l2')
print("
L2?normalized?data:
",?data_normalized_l2)

上面的代碼行將生成以下輸出 -

L2?normalized?data:
[[?0.33946114??-0.30713151???0.88906489]
[?-0.33325106???0.53320169???0.7775858?]
[??0.05156558??-0.81473612???0.57753446]
[??0.68706914???0.26784051??-0.6754239?]]

標(biāo)記數(shù)據(jù)

我們已經(jīng)知道，某種格式的數(shù)據(jù)對(duì)于機(jī)器學(xué)習(xí)算法是必需的。另一個(gè)重要要求是，在將數(shù)據(jù)作為機(jī)器學(xué)習(xí)算法的輸入發(fā)送之前，必須正確標(biāo)記數(shù)據(jù)。例如，如果我們談?wù)摲诸?，?shù)據(jù)上有很多標(biāo)簽。那些標(biāo)簽的形式是文字，數(shù)字等。sklearn中機(jī)器學(xué)習(xí)相關(guān)的功能要求數(shù)據(jù)必須有數(shù)字標(biāo)簽。因此，如果數(shù)據(jù)是其他形式，則必須將其轉(zhuǎn)換為數(shù)字。這種將單詞標(biāo)簽轉(zhuǎn)換為數(shù)字形式的過程稱為標(biāo)簽編碼。

標(biāo)簽編碼步驟

按照以下步驟在 Python 中編碼數(shù)據(jù)標(biāo)簽 -

Step1 - 導(dǎo)入有用的包

如果我們使用 Python，那么這將是將數(shù)據(jù)轉(zhuǎn)換為特定格式的第一步，即預(yù)處理?？梢园慈缦路绞酵瓿?-

import?numpy?as?npfrom?sklearn?import?preprocessing

第 2 步 - 定義樣本標(biāo)簽

導(dǎo)入包后，我們需要定義一些樣本標(biāo)簽，以便我們可以創(chuàng)建和訓(xùn)練標(biāo)簽編碼器。我們現(xiàn)在將定義以下樣本標(biāo)簽 -

#?Sample?input?labelsinput_labels?=?['red','black','red','green','black','yellow','white']

第 3 步 - 創(chuàng)建和訓(xùn)練標(biāo)簽編碼器對(duì)象

在這一步中，我們需要?jiǎng)?chuàng)建標(biāo)簽編碼器并對(duì)其進(jìn)行訓(xùn)練。以下 Python 代碼將有助于做到這一點(diǎn) -

#?Creating?the?label?encoder
encoder?=?preprocessing.LabelEncoder()
encoder.fit(input_labels)

以下是運(yùn)行上述 Python 代碼后的輸出 -

LabelEncoder()

Step4 - 通過編碼隨機(jī)有序列表來檢查性能

此步驟可用于通過對(duì)隨機(jī)有序列表進(jìn)行編碼來檢查性能?？梢跃帉懸韵?Python 代碼來執(zhí)行相同的操作 -

#?encoding?a?set?of?labels
test_labels?=?['green','red','black']
encoded_values?=?encoder.transform(test_labels)
print("
Labels?=",?test_labels)

標(biāo)簽將打印如下 -

Labels?=?['green',?'red',?'black']

現(xiàn)在，我們可以獲得編碼值列表，即轉(zhuǎn)換為數(shù)字的單詞標(biāo)簽如下 -

print("Encoded?values?=",?list(encoded_values))

編碼值將打印如下 -

Encoded?values?=?[1,?2,?0]

第 5 步 - 通過解碼一組隨機(jī)數(shù)字來檢查性能 -

此步驟可用于通過解碼隨機(jī)數(shù)字集來檢查性能?？梢跃帉懸韵?Python 代碼來執(zhí)行相同的操作 -

#?decoding?a?set?of?values
encoded_values?=?[3,0,4,1]
decoded_list?=?encoder.inverse_transform(encoded_values)
print("
Encoded?values?=",?encoded_values)

現(xiàn)在，編碼值將打印如下 -

Encoded?values?=?[3,?0,?4,?1]print("
Decoded?labels?=",?list(decoded_list))

現(xiàn)在，解碼值將打印如下 -

Decoded?labels?=?['white',?'black',?'yellow',?'green']

標(biāo)記數(shù)據(jù)與未標(biāo)記數(shù)據(jù)

未標(biāo)記數(shù)據(jù)主要包括可以從世界上輕松獲得的自然或人造物體的樣本。它們包括音頻、視頻、照片、新聞文章等。

另一方面，標(biāo)記數(shù)據(jù)采用一組未標(biāo)記數(shù)據(jù)，并使用一些有意義的標(biāo)記或標(biāo)簽或類來擴(kuò)充每個(gè)未標(biāo)記數(shù)據(jù)。例如，如果我們有一張照片，那么標(biāo)簽可以根據(jù)照片的內(nèi)容來放置，即它是男孩或女孩或動(dòng)物或其他任何東西的照片。標(biāo)記數(shù)據(jù)需要人類的專業(yè)知識(shí)或?qū)o定的未標(biāo)記數(shù)據(jù)的判斷。

在許多情況下，未標(biāo)記的數(shù)據(jù)很豐富且易于獲取，但標(biāo)記的數(shù)據(jù)通常需要人工/專家進(jìn)行注釋。半監(jiān)督學(xué)習(xí)試圖結(jié)合標(biāo)記和未標(biāo)記的數(shù)據(jù)來構(gòu)建更好的模型。

人工智能與 Python——監(jiān)督學(xué)習(xí)：分類

在本章中，我們將重點(diǎn)關(guān)注實(shí)施監(jiān)督學(xué)習(xí)——分類。

分類技術(shù)或模型試圖從觀察值中得出一些結(jié)論。在分類問題中，我們有分類輸出，例如“黑色”或“白色”或“教學(xué)”和“非教學(xué)”。在構(gòu)建分類模型時(shí)，我們需要有包含數(shù)據(jù)點(diǎn)和相應(yīng)標(biāo)簽的訓(xùn)練數(shù)據(jù)集。例如，如果我們想檢查圖像是否是汽車。為了檢查這一點(diǎn)，我們將構(gòu)建一個(gè)包含與“汽車”和“無汽車”相關(guān)的兩個(gè)類別的訓(xùn)練數(shù)據(jù)集。然后我們需要使用訓(xùn)練樣本來訓(xùn)練模型。分類模型主要用于人臉識(shí)別、垃圾郵件識(shí)別等。

在 Python 中構(gòu)建分類器的步驟

為了在 Python 中構(gòu)建分類器，我們將使用 Python 3 和機(jī)器學(xué)習(xí)工具 Scikit-learn。按照以下步驟在 Python 中構(gòu)建分類器 -

第 1 步 - 導(dǎo)入 Scikit-learn

這將是在 Python 中構(gòu)建分類器的第一步。在這一步中，我們將安裝一個(gè)名為 Scikit-learn 的 Python 包，它是 Python 中最好的機(jī)器學(xué)習(xí)模塊之一。以下命令將幫助我們導(dǎo)入包 -

Import?Sklearn

第 2 步 - 導(dǎo)入 Scikit-learn 的數(shù)據(jù)集

在此步驟中，我們可以開始使用機(jī)器學(xué)習(xí)模型的數(shù)據(jù)集。在這里，我們將使用乳腺癌威斯康星診斷數(shù)據(jù)庫。該數(shù)據(jù)集包括有關(guān)乳腺癌腫瘤的各種信息，以及惡性或良性的分類標(biāo)簽。該數(shù)據(jù)集包含 569 個(gè)腫瘤的 569 個(gè)實(shí)例或數(shù)據(jù)，并包含有關(guān) 30 個(gè)屬性或特征的信息，例如腫瘤的半徑、紋理、平滑度和面積。借助以下命令，我們可以導(dǎo)入 Scikit-learn 的乳腺癌數(shù)據(jù)集 -

from?sklearn.datasets?import?load_breast_cancer

現(xiàn)在，以下命令將加載數(shù)據(jù)集。

data?=?load_breast_cancer()

以下是重要字典鍵的列表 -

• 分類標(biāo)簽名稱(target_names)

• 實(shí)際標(biāo)簽（目標(biāo)）

• 屬性/特征名稱（feature_names）

• 屬性（數(shù)據(jù)）

現(xiàn)在，借助以下命令，我們可以為每組重要信息創(chuàng)建新變量并分配數(shù)據(jù)。換句話說，我們可以使用以下命令組織數(shù)據(jù) -

label_names?=?data['target_names']
labels?=?data['target']
feature_names?=?data['feature_names']
features?=?data['data']

現(xiàn)在，為了更清楚，我們可以在以下命令的幫助下打印類標(biāo)簽、第一個(gè)數(shù)據(jù)實(shí)例的標(biāo)簽、我們的特征名稱和特征值 -

print(label_names)

上面的命令將分別打印出惡性和良性的類名。它顯示為下面的輸出 -

['malignant'?'benign']

現(xiàn)在，下面的命令將顯示它們被映射到二進(jìn)制值 0 和 1。這里 0 代表惡性癌癥，1 代表良性癌癥。您將收到以下輸出 -

print(labels[0])
0

下面給出的兩個(gè)命令將生成特征名稱和特征值。

print(feature_names[0])
mean?radius
print(features[0])
[?1.79900000e+01?1.03800000e+01?1.22800000e+02?1.00100000e+03
??1.18400000e-01?2.77600000e-01?3.00100000e-01?1.47100000e-01
??2.41900000e-01?7.87100000e-02?1.09500000e+00?9.05300000e-01
??8.58900000e+00?1.53400000e+02?6.39900000e-03?4.90400000e-02
??5.37300000e-02?1.58700000e-02?3.00300000e-02?6.19300000e-03
??2.53800000e+01?1.73300000e+01?1.84600000e+02?2.01900000e+03
??1.62200000e-01?6.65600000e-01?7.11900000e-01?2.65400000e-01
??4.60100000e-01?1.18900000e-01]

從上面的輸出可以看出，第一個(gè)數(shù)據(jù)實(shí)例是一個(gè)惡性腫瘤，其半徑為1.7990000e+01。

第 3 步 - 將數(shù)據(jù)組織成集合

在這一步中，我們將把數(shù)據(jù)分成兩部分，即訓(xùn)練集和測(cè)試集。將數(shù)據(jù)分成這些集合非常重要，因?yàn)槲覀儽仨氃诳床灰姷臄?shù)據(jù)上測(cè)試我們的模型。為了將數(shù)據(jù)拆分成集合，sklearn 有一個(gè)名為train_test_split()的函數(shù)。在以下命令的幫助下，我們可以拆分這些集中的數(shù)據(jù) -

from?sklearn.model_selection?import?train_test_split

上面的命令將從 sklearn 導(dǎo)入train_test_split函數(shù)，下面的命令將數(shù)據(jù)拆分為訓(xùn)練和測(cè)試數(shù)據(jù)。在下面給出的示例中，我們使用 40% 的數(shù)據(jù)進(jìn)行測(cè)試，其余數(shù)據(jù)將用于訓(xùn)練模型。

train,?test,?train_labels,?test_labels?=?train_test_split(features,labels,test_size?=?0.40,?random_state?=?42)

第 4 步 - 構(gòu)建模型

在這一步中，我們將構(gòu)建我們的模型。我們將使用樸素貝葉斯算法來構(gòu)建模型。以下命令可用于構(gòu)建模型 -

from?sklearn.naive_bayes?import?GaussianNB

上面的命令將導(dǎo)入 GaussianNB 模塊?，F(xiàn)在，以下命令將幫助您初始化模型。

gnb?=?GaussianNB()

我們將通過使用 gnb.fit() 將模型擬合到數(shù)據(jù)來訓(xùn)練模型。

model?=?gnb.fit(train,?train_labels)

第 5 步 - 評(píng)估模型及其準(zhǔn)確性

在這一步中，我們將通過對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)來評(píng)估模型。然后我們也會(huì)發(fā)現(xiàn)它的準(zhǔn)確性。為了進(jìn)行預(yù)測(cè)，我們將使用 predict() 函數(shù)。以下命令將幫助您執(zhí)行此操作 -

preds?=?gnb.predict(test)
print(preds)

[1?0?0?1?1?0?0?0?1?1?1?0?1?0?1?0?1?1?1?0?1?1?0?1?1?1?1?1?1
?0?1?1?1?1?1?1?0?1?0?1?1?0?1?1?1?1?1?1?1?1?0?0?1?1?1?1?1?0?
?0?1?1?0?0?1?1?1?0?0?1?1?0?0?1?0?1?1?1?1?1?1?0?1?1?0?0?0?0?
?0?1?1?1?1?1?1?1?1?0?0?1?0?0?1?0?0?1?1?1?0?1?1?0?1?1?0?0?0?
?1?1?1?0?0?1?1?0?1?0?0?1?1?0?0?0?1?1?1?0?1?1?0?0?1?0?1?1?0?
?1?0?0?1?1?1?1?1?1?1?0?0?1?1?1?1?1?1?1?1?1?1?1?1?0?1?1?1?0?
?1?1?0?1?1?1?1?1?1?0?0?0?1?1?0?1?0?1?1?1?1?0?1?1?0?1?1?1?0?
?1?0?0?1?1?1?1?1?1?1?1?0?1?1?1?1?1?0?1?0?0?1?1?0?1]

上面的一系列 0 和 1 是腫瘤類別（惡性和良性）的預(yù)測(cè)值。

現(xiàn)在，通過比較兩個(gè)數(shù)組，即test_labels和preds，我們可以找出模型的準(zhǔn)確性。我們將使用accuracy_score()函數(shù)來確定準(zhǔn)確性。為此考慮以下命令 -

from?sklearn.metrics?import?accuracy_score
print(accuracy_score(test_labels,preds))
0.951754385965

結(jié)果表明，Na?veBayes 分類器的準(zhǔn)確率為 95.17%。

這樣，借助上述步驟，我們就可以在 Python 中構(gòu)建我們的分類器了。

在 Python 中構(gòu)建分類器

在本節(jié)中，我們將學(xué)習(xí)如何在 Python 中構(gòu)建分類器。

樸素貝葉斯分類器

樸素貝葉斯是一種分類技術(shù)，用于使用貝葉斯定理構(gòu)建分類器。假設(shè)預(yù)測(cè)變量是獨(dú)立的。簡(jiǎn)而言之，它假設(shè)類中特定特征的存在與任何其他特征的存在無關(guān)。為了構(gòu)建樸素貝葉斯分類器，我們需要使用名為 scikit learn 的 python 庫。scikit 學(xué)習(xí)包下有三種樸素貝葉斯模型，分別是高斯模型、多項(xiàng)式模型和伯努利模型。

要構(gòu)建樸素貝葉斯機(jī)器學(xué)習(xí)分類器模型，我們需要以下 &minus

數(shù)據(jù)集

我們將使用名為Breast Cancer Wisconsin Diagnostic Database 的數(shù)據(jù)集。該數(shù)據(jù)集包括有關(guān)乳腺癌腫瘤的各種信息，以及惡性或良性的分類標(biāo)簽。該數(shù)據(jù)集包含 569 個(gè)腫瘤的 569 個(gè)實(shí)例或數(shù)據(jù)，并包含有關(guān) 30 個(gè)屬性或特征的信息，例如腫瘤的半徑、紋理、平滑度和面積。我們可以從 sklearn 包導(dǎo)入這個(gè)數(shù)據(jù)集。

樸素貝葉斯模型

為了構(gòu)建樸素貝葉斯分類器，我們需要一個(gè)樸素貝葉斯模型。如前所述，scikit 學(xué)習(xí)包下有三種類型的樸素貝葉斯模型，分別是高斯模型、多項(xiàng)式模型和伯努利模型。在這里，在下面的示例中，我們將使用高斯樸素貝葉斯模型。

通過以上內(nèi)容，我們將構(gòu)建一個(gè)樸素貝葉斯機(jī)器學(xué)習(xí)模型，以使用腫瘤信息來預(yù)測(cè)腫瘤是惡性還是良性。

首先，我們需要安裝 sklearn 模塊。它可以在以下命令的幫助下完成 -

Import?Sklearn

現(xiàn)在，我們需要導(dǎo)入名為 Breast Cancer Wisconsin Diagnostic Database 的數(shù)據(jù)集。

from?sklearn.datasets?import?load_breast_cancer

現(xiàn)在，以下命令將加載數(shù)據(jù)集。

data?=?load_breast_cancer()

數(shù)據(jù)可以組織如下 -

label_names?=?data['target_names']labels?=?data['target']feature_names?=?data['feature_names']features?=?data['data']

現(xiàn)在，為了更清楚，我們可以在以下命令的幫助下打印類標(biāo)簽、第一個(gè)數(shù)據(jù)實(shí)例的標(biāo)簽、我們的特征名稱和特征值 -

print(label_names)

上面的命令將分別打印出惡性和良性的類名。它顯示為下面的輸出 -

['malignant'?'benign']

現(xiàn)在，下面給出的命令將顯示它們被映射到二進(jìn)制值 0 和 1。這里 0 代表惡性癌癥，1 代表良性癌癥。它顯示為下面的輸出 -

print(labels[0])
0

以下兩個(gè)命令將生成特征名稱和特征值。

print(feature_names[0])
mean?radius
print(features[0])

[?1.79900000e+01?1.03800000e+01?1.22800000e+02?1.00100000e+03
??1.18400000e-01?2.77600000e-01?3.00100000e-01?1.47100000e-01
??2.41900000e-01?7.87100000e-02?1.09500000e+00?9.05300000e-01
??8.58900000e+00?1.53400000e+02?6.39900000e-03?4.90400000e-02
??5.37300000e-02?1.58700000e-02?3.00300000e-02?6.19300000e-03
??2.53800000e+01?1.73300000e+01?1.84600000e+02?2.01900000e+03
??1.62200000e-01?6.65600000e-01?7.11900000e-01?2.65400000e-01
??4.60100000e-01?1.18900000e-01]

從上面的輸出可以看出，第一個(gè)數(shù)據(jù)實(shí)例是一個(gè)惡性腫瘤，其主要半徑為1.7990000e+01。

為了在看不見的數(shù)據(jù)上測(cè)試我們的模型，我們需要將數(shù)據(jù)拆分為訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。它可以在以下代碼的幫助下完成 -

from?sklearn.model_selection?import?train_test_split

上面的命令將從 sklearn 導(dǎo)入train_test_split函數(shù)，下面的命令將數(shù)據(jù)拆分為訓(xùn)練和測(cè)試數(shù)據(jù)。在下面的示例中，我們使用 40% 的數(shù)據(jù)進(jìn)行測(cè)試，而重新挖掘的數(shù)據(jù)將用于訓(xùn)練模型。

train,?test,?train_labels,?test_labels?=?train_test_split(features,labels,test_size?=?0.40,?random_state?=?42)

現(xiàn)在，我們正在使用以下命令構(gòu)建模型 -

from?sklearn.naive_bayes?import?GaussianNB

上面的命令將導(dǎo)入GaussianNB模塊?，F(xiàn)在，使用下面給出的命令，我們需要初始化模型。

gnb?=?GaussianNB()

我們將通過使用gnb.fit()將模型擬合到數(shù)據(jù)來訓(xùn)練模型。

model?=?gnb.fit(train,?train_labels)

現(xiàn)在，通過對(duì)測(cè)試數(shù)據(jù)進(jìn)行預(yù)測(cè)來評(píng)估模型，可以按如下方式完成 -

preds?=?gnb.predict(test)print(preds)[1?0?0?1?1?0?0?0?1?1?1?0?1?0?1?0?1?1?1?0?1?1?0?1?1?1?1?1?1
?0?1?1?1?1?1?1?0?1?0?1?1?0?1?1?1?1?1?1?1?1?0?0?1?1?1?1?1?0?
?0?1?1?0?0?1?1?1?0?0?1?1?0?0?1?0?1?1?1?1?1?1?0?1?1?0?0?0?0?
?0?1?1?1?1?1?1?1?1?0?0?1?0?0?1?0?0?1?1?1?0?1?1?0?1?1?0?0?0?
?1?1?1?0?0?1?1?0?1?0?0?1?1?0?0?0?1?1?1?0?1?1?0?0?1?0?1?1?0?
?1?0?0?1?1?1?1?1?1?1?0?0?1?1?1?1?1?1?1?1?1?1?1?1?0?1?1?1?0?
?1?1?0?1?1?1?1?1?1?0?0?0?1?1?0?1?0?1?1?1?1?0?1?1?0?1?1?1?0?
?1?0?0?1?1?1?1?1?1?1?1?0?1?1?1?1?1?0?1?0?0?1?1?0?1]

上面的一系列 0 和 1 是腫瘤類別（即惡性和良性）的預(yù)測(cè)值。

現(xiàn)在，通過比較兩個(gè)數(shù)組，即test_labels和preds，我們可以找出模型的準(zhǔn)確性。我們將使用accuracy_score()函數(shù)來確定準(zhǔn)確性?？紤]以下命令 -

from?sklearn.metrics?import?accuracy_score
print(accuracy_score(test_labels,preds))
0.951754385965

結(jié)果表明，Na?veBayes 分類器的準(zhǔn)確率為 95.17%。

那是基于樸素貝斯高斯模型的機(jī)器學(xué)習(xí)分類器。

支持向量機(jī) (SVM)

基本上，支持向量機(jī) (SVM) 是一種有監(jiān)督的機(jī)器學(xué)習(xí)算法，可用于回歸和分類。SVM 的主要概念是將每個(gè)數(shù)據(jù)項(xiàng)繪制為 n 維空間中的一個(gè)點(diǎn)，每個(gè)特征的值是特定坐標(biāo)的值。這里 n 是我們將擁有的特征。以下是理解 SVM 概念的簡(jiǎn)單圖形表示 -

在上圖中，我們有兩個(gè)特征。因此，我們首先需要在二維空間中繪制這兩個(gè)變量，其中每個(gè)點(diǎn)都有兩個(gè)坐標(biāo)，稱為支持向量。該線將數(shù)據(jù)分成兩個(gè)不同的分類組。這條線就是分類器。

在這里，我們將使用 scikit-learn 和 iris 數(shù)據(jù)集構(gòu)建一個(gè) SVM 分類器。Scikitlearn 庫有sklearn.svm模塊，并提供 sklearn.svm.svc 用于分類?；?4 個(gè)特征預(yù)測(cè)鳶尾植物類別的 SVM 分類器如下所示。

數(shù)據(jù)集

我們將使用鳶尾花數(shù)據(jù)集，其中包含 3 個(gè)類，每個(gè)類有 50 個(gè)實(shí)例，其中每個(gè)類指的是一種鳶尾植物。每個(gè)實(shí)例都有四個(gè)特征，即萼片長(zhǎng)度、萼片寬度、花瓣長(zhǎng)度和花瓣寬度?；?4 個(gè)特征預(yù)測(cè)鳶尾植物類別的 SVM 分類器如下所示。

核心

它是 SVM 使用的一種技術(shù)?；旧线@些是采用低維輸入空間并將其轉(zhuǎn)換為高維空間的函數(shù)。它將不可分離的問題轉(zhuǎn)化為可分離的問題。核函數(shù)可以是線性、多項(xiàng)式、rbf 和 sigmoid 中的任意一種。在這個(gè)例子中，我們將使用線性內(nèi)核。

現(xiàn)在讓我們導(dǎo)入以下包 -

import?pandas?as?pdimport?numpy?as?npfrom?sklearn?import?svm,?datasetsimport?matplotlib.pyplot?as?plt

現(xiàn)在，加載輸入數(shù)據(jù) -

iris?=?datasets.load_iris()

我們正在采用前兩個(gè)功能 -

X?=?iris.data[:,?:2]y?=?iris.target

我們將用原始數(shù)據(jù)繪制支持向量機(jī)邊界。我們正在創(chuàng)建一個(gè)網(wǎng)格來繪制。

x_min,?x_max?=?X[:,?0].min()?-?1,?X[:,?0].max()?+?1y_min,?y_max?=?X[:,?1].min()?-?1,?X[:,?1].max()?+?1h?=?(x_max?/?x_min)/100xx,?yy?=?np.meshgrid(np.arange(x_min,?x_max,?h),np.arange(y_min,?y_max,?h))X_plot?=?np.c_[xx.ravel(),?yy.ravel()]

我們需要給出正則化參數(shù)的值。

C?=?1.0

我們需要?jiǎng)?chuàng)建 SVM 分類器對(duì)象。

Svc_classifier?=?svm_classifier.SVC(kernel='linear',?C=C,?decision_function_shape?=?'ovr').fit(X,?y)Z?=?svc_classifier.predict(X_plot)Z?=?Z.reshape(xx.shape)plt.figure(figsize?=?(15,?5))plt.subplot(121)plt.contourf(xx,?yy,?Z,?cmap?=?plt.cm.tab10,?alpha?=?0.3)plt.scatter(X[:,?0],?X[:,?1],?c?=?y,?cmap?=?plt.cm.Set1)plt.xlabel('Sepal?length')plt.ylabel('Sepal?width')plt.xlim(xx.min(),?xx.max())plt.title('SVC?with?linear?kernel')

邏輯回歸

基本上，邏輯回歸模型是監(jiān)督分類算法家族的成員之一。邏輯回歸通過使用邏輯函數(shù)估計(jì)概率來衡量因變量和自變量之間的關(guān)系。

在這里，如果我們談?wù)撘蜃兞亢妥宰兞浚敲匆蜃兞烤褪俏覀円A(yù)測(cè)的目標(biāo)類變量，而另一方面，自變量是我們要用來預(yù)測(cè)目標(biāo)類的特征。

在邏輯回歸中，估計(jì)概率意味著預(yù)測(cè)事件發(fā)生的可能性。例如，店主想預(yù)測(cè)進(jìn)入商店的顧客是否會(huì)購買游戲站（例如）。顧客會(huì)有很多特征——性別、年齡等，店主會(huì)觀察這些特征來預(yù)測(cè)發(fā)生的可能性，即是否購買游戲機(jī)。邏輯函數(shù)是用于構(gòu)建具有各種參數(shù)的函數(shù)的 S 型曲線。

先決條件

在使用邏輯回歸構(gòu)建分類器之前，我們需要在我們的系統(tǒng)上安裝 Tkinter 包。它可以從https://docs.python.org/2/library/tkinter.html安裝。

現(xiàn)在，借助下面給出的代碼，我們可以使用邏輯回歸創(chuàng)建分類器 -

首先，我們將導(dǎo)入一些包 -

import?numpy?as?npfrom?sklearn?import?linear_modelimport?matplotlib.pyplot?as?plt

現(xiàn)在，我們需要定義樣本數(shù)據(jù)，可以按如下方式完成 -

X?=?np.array([[2,?4.8],?[2.9,?4.7],?[2.5,?5],?[3.2,?5.5],?[6,?5],?[7.6,?4],
??????????????[3.2,?0.9],?[2.9,?1.9],[2.4,?3.5],?[0.5,?3.4],?[1,?4],?[0.9,?5.9]])y?=?np.array([0,?0,?0,?1,?1,?1,?2,?2,?2,?3,?3,?3])

接下來，我們需要?jiǎng)?chuàng)建邏輯回歸分類器，可以按如下方式完成 -

Classifier_LR?=?linear_model.LogisticRegression(solver?=?'liblinear',?C?=?75)

最后但并非最不重要的是，我們需要訓(xùn)練這個(gè)分類器 -

Classifier_LR.fit(X,?y)

現(xiàn)在，我們?nèi)绾慰梢暬敵觯窟@可以通過創(chuàng)建一個(gè)名為 Logistic_visualize() 的函數(shù)來完成 -

Def?Logistic_visualize(Classifier_LR,?X,?y):
???min_x,?max_x?=?X[:,?0].min()?-?1.0,?X[:,?0].max()?+?1.0
???min_y,?max_y?=?X[:,?1].min()?-?1.0,?X[:,?1].max()?+?1.0

在上面的行中，我們定義了要在網(wǎng)格中使用的最小值和最大值 X 和 Y。此外，我們將定義繪制網(wǎng)格的步長(zhǎng)。

mesh_step_size?=?0.02

讓我們定義 X 和 Y 值的網(wǎng)格如下 -

x_vals,?y_vals?=?np.meshgrid(np.arange(min_x,?max_x,?mesh_step_size),
?????????????????np.arange(min_y,?max_y,?mesh_step_size))

借助以下代碼，我們可以在網(wǎng)格上運(yùn)行分類器 -

output?=?classifier.predict(np.c_[x_vals.ravel(),?y_vals.ravel()])output?=?output.reshape(x_vals.shape)plt.figure()plt.pcolormesh(x_vals,?y_vals,?output,?cmap?=?plt.cm.gray)
?plt.scatter(X[:,?0],?X[:,?1],?c?=?y,?s?=?75,?edgecolors?=?'black',?linewidth=1,?cmap?=?plt.cm.Paired)

以下代碼行將指定繪圖的邊界

plt.xlim(x_vals.min(),?x_vals.max())plt.ylim(y_vals.min(),?y_vals.max())plt.xticks((np.arange(int(X[:,?0].min()?-?1),?int(X[:,?0].max()?+?1),?1.0)))plt.yticks((np.arange(int(X[:,?1].min()?-?1),?int(X[:,?1].max()?+?1),?1.0)))plt.show()

現(xiàn)在，運(yùn)行代碼后我們將得到以下輸出，邏輯回歸分類器 -

決策樹分類器

決策樹基本上是一個(gè)二叉樹流程圖，其中每個(gè)節(jié)點(diǎn)根據(jù)某個(gè)特征變量拆分一組觀察值。

在這里，我們正在構(gòu)建一個(gè)決策樹分類器來預(yù)測(cè)男性或女性。我們將采用一個(gè)包含 19 個(gè)樣本的非常小的數(shù)據(jù)集。這些樣本將包含兩個(gè)特征——“身高”和“頭發(fā)長(zhǎng)度”。

先決條件

為了構(gòu)建以下分類器，我們需要安裝pydotplus和graphviz?；旧?，graphviz 是一個(gè)使用點(diǎn)文件繪制圖形的工具，而pydotplus是 Graphviz 的點(diǎn)語言的一個(gè)模塊。它可以使用包管理器或 pip 安裝。

現(xiàn)在，我們可以在以下 Python 代碼的幫助下構(gòu)建決策樹分類器 -

首先，讓我們按如下方式導(dǎo)入一些重要的庫 -

import?pydotplusfrom?sklearn?import?treefrom?sklearn.datasets?import?load_irisfrom?sklearn.metrics?import?classification_reportfrom?sklearn?import?cross_validationimport?collections

現(xiàn)在，我們需要提供如下數(shù)據(jù)集 -

X?=?[[165,19],[175,32],[136,35],[174,65],[141,28],[176,15],[131,32],[166,6],[128,32],[179,10],[136,34],[186,2],[126,25],[176,28],[112,38],[169,9],[171,36],[116,25],[196,25]]Y?=?['Man','Woman','Woman','Man','Woman','Man','Woman','Man','Woman','Man','Woman','Man','Woman','Woman','Woman','Man','Woman','Woman','Man']data_feature_names?=?['height','length?of?hair']X_train,?X_test,?Y_train,?Y_test?=?cross_validation.train_test_split(X,?Y,?test_size=0.40,?random_state=5)

提供數(shù)據(jù)集后，我們需要擬合模型，可以按如下方式完成 -

clf?=?tree.DecisionTreeClassifier()clf?=?clf.fit(X,Y)

可以借助以下 Python 代碼進(jìn)行預(yù)測(cè) -

prediction?=?clf.predict([[133,37]])
print(prediction)

我們可以借助以下 Python 代碼可視化決策樹 -

dot_data?=?tree.export_graphviz(clf,feature_names?=?data_feature_names,
????????????out_file?=?None,filled?=?True,rounded?=?True)
graph?=?pydotplus.graph_from_dot_data(dot_data)
colors?=?('orange',?'yellow')
edges?=?collections.defaultdict(list)

for?edge?in?graph.get_edge_list():
edges[edge.get_source()].append(int(edge.get_destination()))

for?edge?in?edges:?edges[edge].sort()

for?i?in?range(2):dest?=?graph.get_node(str(edges[edge][i]))[0]
dest.set_fillcolor(colors[i])
graph.write_png('Decisiontree16.png')

它將對(duì)上述代碼的預(yù)測(cè)作為['Woman']并創(chuàng)建以下決策樹 -

我們可以改變預(yù)測(cè)中的特征值來測(cè)試它。

隨機(jī)森林分類器

眾所周知，集成方法是將機(jī)器學(xué)習(xí)模型組合成更強(qiáng)大的機(jī)器學(xué)習(xí)模型的方法。決策樹的集合隨機(jī)森林就是其中之一。它比單個(gè)決策樹更好，因?yàn)樵诒Ａ纛A(yù)測(cè)能力的同時(shí)，它可以通過對(duì)結(jié)果進(jìn)行平均來減少過度擬合。在這里，我們將在 scikit 學(xué)習(xí)癌癥數(shù)據(jù)集上實(shí)現(xiàn)隨機(jī)森林模型。

導(dǎo)入必要的包 -

from?sklearn.ensemble?import?RandomForestClassifierfrom?sklearn.model_selection?import?train_test_splitfrom?sklearn.datasets?import?load_breast_cancer
cancer?=?load_breast_cancer()import?matplotlib.pyplot?as?pltimport?numpy?as?np

現(xiàn)在，我們需要提供可以按以下方式完成的數(shù)據(jù)集 &minus

cancer?=?load_breast_cancer()X_train,?X_test,?y_train,y_test?=?train_test_split(cancer.data,?cancer.target,?random_state?=?0)

提供數(shù)據(jù)集后，我們需要擬合模型，可以按如下方式完成 -

forest?=?RandomForestClassifier(n_estimators?=?50,?random_state?=?0)forest.fit(X_train,y_train)

現(xiàn)在，獲得訓(xùn)練子集和測(cè)試子集的準(zhǔn)確性：如果我們?cè)黾庸烙?jì)器的數(shù)量，那么測(cè)試子集的準(zhǔn)確性也會(huì)提高。

print('Accuracy?on?the?training?subset:(:.3f)',format(forest.score(X_train,y_train)))print('Accuracy?on?the?training?subset:(:.3f)',format(forest.score(X_test,y_test)))

輸出

Accuracy?on?the?training?subset:(:.3f)?1.0
Accuracy?on?the?training?subset:(:.3f)?0.965034965034965

現(xiàn)在，與決策樹一樣，隨機(jī)森林具有feature_importance模塊，它將提供比決策樹更好的特征權(quán)重視圖。它可以繪制和可視化如下 -

n_features?=?cancer.data.shape[1]plt.barh(range(n_features),forest.feature_importances_,?align='center')plt.yticks(np.arange(n_features),cancer.feature_names)plt.xlabel('Feature?Importance')plt.ylabel('Feature')plt.show()

分類器的性能

實(shí)施機(jī)器學(xué)習(xí)算法后，我們需要了解模型的有效性。衡量有效性的標(biāo)準(zhǔn)可以基于數(shù)據(jù)集和度量。為了評(píng)估不同的機(jī)器學(xué)習(xí)算法，我們可以使用不同的性能指標(biāo)。例如，假設(shè)如果使用分類器來區(qū)分不同對(duì)象的圖像，我們可以使用平均準(zhǔn)確度、AUC 等分類性能指標(biāo)。在某種意義上，我們選擇評(píng)估機(jī)器學(xué)習(xí)模型的指標(biāo)是非常重要，因?yàn)橹笜?biāo)的選擇會(huì)影響機(jī)器學(xué)習(xí)算法性能的測(cè)量和比較方式。以下是一些指標(biāo) -

混淆矩陣

基本上它用于分類問題，其中輸出可以是兩種或多種類型的類。這是衡量分類器性能的最簡(jiǎn)單方法。混淆矩陣基本上是一個(gè)具有兩個(gè)維度的表，即“實(shí)際”和“預(yù)測(cè)”。這兩個(gè)維度都有“True Positives (TP)”、“True Negatives (TN)”、“False Positives (FP)”、“False Negatives (FN)”。

在上面的混淆矩陣中，1 代表正類，0 代表負(fù)類。

以下是與混淆矩陣相關(guān)的術(shù)語 -

• True Positives -?TP 是數(shù)據(jù)點(diǎn)的實(shí)際類別為 1 且預(yù)測(cè)也為 1 的情況。

• True Negatives -?TNs 是數(shù)據(jù)點(diǎn)的實(shí)際類別為 0 且預(yù)測(cè)也為 0 的情況。

• False Positives -?FPs 是數(shù)據(jù)點(diǎn)的實(shí)際類別為 0 而預(yù)測(cè)也為 1 的情況。

• 假陰性-?FN 是數(shù)據(jù)點(diǎn)的實(shí)際類別為 1 而預(yù)測(cè)也為 0 的情況。

準(zhǔn)確性

混淆矩陣本身并不是性能度量，但幾乎所有性能矩陣都基于混淆矩陣。其中之一是準(zhǔn)確性。在分類問題中，它可以定義為模型在所有類型的預(yù)測(cè)中做出的正確預(yù)測(cè)的數(shù)量。計(jì)算精度的公式如下 -

$$準(zhǔn)確度 = rac{TP+TN}{TP+FP+FN+TN}$$

精確

它主要用于文檔檢索。它可以定義為有多少返回的文檔是正確的。以下是計(jì)算精度的公式 -

$$精度 = rac{TP}{TP+FP}$$

召回或敏感性

它可以定義為模型返回了多少正數(shù)。以下是計(jì)算模型召回率/靈敏度的公式 -

$$召回 = rac{TP}{TP+FN}$$

特異性

它可以定義為模型返回了多少負(fù)數(shù)。它與召回正好相反。以下是計(jì)算模型特異性的公式 -

$$特異性 = rac{TN}{TN+FP}$$

階級(jí)失衡問題

類別不平衡是指屬于一個(gè)類別的觀測(cè)值數(shù)量明顯低于屬于其他類別的觀測(cè)值數(shù)量的情況。例如，在我們需要識(shí)別罕見病、銀行欺詐交易等場(chǎng)景中，這個(gè)問題就比較突出。

不平衡類的例子

讓我們考慮一個(gè)欺詐檢測(cè)數(shù)據(jù)集的例子來理解不平衡類的概念 -

Total?observations?=?5000Fraudulent?Observations?=?50Non-Fraudulent?Observations?=?4950Event?Rate?=?1%

解決方案

平衡類的行為是解決不平衡類的方法。平衡類的主要目標(biāo)是增加少數(shù)類的頻率或減少多數(shù)類的頻率。以下是解決不平衡類問題的方法 -

重采樣

重采樣是用于重建樣本數(shù)據(jù)集的一系列方法——包括訓(xùn)練集和測(cè)試集。重新采樣是為了提高模型的準(zhǔn)確性。以下是一些重采樣技術(shù) -

• Random Under-Sampling?- 該技術(shù)旨在通過隨機(jī)消除多數(shù)類示例來平衡類分布。這樣做直到多數(shù)和少數(shù)類實(shí)例被平衡。

Total?observations?=?5000Fraudulent?Observations?=?50Non-Fraudulent?Observations?=?4950Event?Rate?=?1%

在這種情況下，我們從非欺詐實(shí)例中無替換地抽取 10% 的樣本，然后將它們與欺詐實(shí)例結(jié)合起來 -

隨機(jī)抽樣后的非欺詐性觀察 = 4950 的 10% = 495

將它們與欺詐性觀察相結(jié)合后的總觀察 = 50+495 = 545

因此現(xiàn)在，欠采樣后新數(shù)據(jù)集的事件率 = 9%

這種技術(shù)的主要優(yōu)點(diǎn)是它可以減少運(yùn)行時(shí)間并改善存儲(chǔ)。但另一方面，它可以丟棄有用的信息，同時(shí)減少訓(xùn)練數(shù)據(jù)樣本的數(shù)量。

• Random Over-Sampling?- 這種技術(shù)旨在通過復(fù)制它們來增加少數(shù)類中的實(shí)例數(shù)量來平衡類分布。

Total?observations?=?5000Fraudulent?Observations?=?50Non-Fraudulent?Observations?=?4950Event?Rate?=?1%

如果我們將 50 個(gè)欺詐性觀察復(fù)制 30 次，那么復(fù)制少數(shù)類觀察后的欺詐性觀察將是 1500。然后在過采樣后新數(shù)據(jù)中的總觀察將是 4950+1500 = 6450。因此新數(shù)據(jù)集的事件率將是 1500/6450 = 23%。

這種方法的主要優(yōu)點(diǎn)是不會(huì)丟失有用的信息。但另一方面，它增加了過度擬合的機(jī)會(huì)，因?yàn)樗鼜?fù)制了少數(shù)類事件。

合奏技巧

這種方法基本上用于修改現(xiàn)有的分類算法，使其適用于不平衡的數(shù)據(jù)集。在這種方法中，我們從原始數(shù)據(jù)構(gòu)建了幾個(gè)兩階段分類器，然后聚合它們的預(yù)測(cè)。隨機(jī)森林分類器是基于集成的分類器的一個(gè)例子。