深度學(xué)習(xí)面試題專欄05
01 什么是監(jiān)督學(xué)習(xí)
02 什么是無(wú)監(jiān)督學(xué)習(xí)
03 什么事線性回歸
04 常見(jiàn)的損失函數(shù)有哪些
05 什么是梯度下降
06 什么是最小二乘法
07 回歸 分類 聚類方法的區(qū)別
08 生成模式 判別模式
09 什么是欠擬合
10 如何避免欠擬合
01?什么是監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)（Supervised Learning）是機(jī)器學(xué)習(xí)的一種主要范式，它是一種通過(guò)訓(xùn)練數(shù)據(jù)集來(lái)建立輸入數(shù)據(jù)和目標(biāo)輸出之間的映射關(guān)系的方法。在監(jiān)督學(xué)習(xí)中，算法接受帶有標(biāo)簽（目標(biāo)值）的輸入數(shù)據(jù)，并試圖學(xué)習(xí)一個(gè)函數(shù)，將輸入映射到正確的輸出。
以下是監(jiān)督學(xué)習(xí)的關(guān)鍵要點(diǎn)：
訓(xùn)練數(shù)據(jù)集：監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集包含了一組輸入樣本和對(duì)應(yīng)的目標(biāo)輸出（標(biāo)簽）。每個(gè)樣本都是一個(gè)輸入-輸出對(duì)。
模型建立：在監(jiān)督學(xué)習(xí)中，要建立一個(gè)數(shù)學(xué)模型，該模型將輸入數(shù)據(jù)映射到輸出數(shù)據(jù)。這個(gè)模型可以是線性模型、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等各種算法。
損失函數(shù)：為了訓(xùn)練模型，需要定義一個(gè)損失函數(shù)，用于度量模型的預(yù)測(cè)輸出與實(shí)際目標(biāo)輸出之間的差距。損失函數(shù)可以根據(jù)任務(wù)的性質(zhì)而不同，例如均方誤差用于回歸問(wèn)題，交叉熵用于分類問(wèn)題。
訓(xùn)練過(guò)程：通過(guò)最小化損失函數(shù)，使用訓(xùn)練數(shù)據(jù)集來(lái)調(diào)整模型的參數(shù)，以使模型能夠盡可能地準(zhǔn)確地預(yù)測(cè)目標(biāo)輸出。這通常涉及到優(yōu)化算法，如梯度下降。
測(cè)試和評(píng)估：完成模型的訓(xùn)練后，需要使用測(cè)試數(shù)據(jù)集來(lái)評(píng)估模型的性能。通常，評(píng)估指標(biāo)包括準(zhǔn)確性、精確度、召回率、F1分?jǐn)?shù)等，根據(jù)任務(wù)的不同而不同。
02 什么是無(wú)監(jiān)督學(xué)習(xí)、有監(jiān)督學(xué)習(xí)
有監(jiān)督學(xué)習(xí)（Supervised Learning）：
在有監(jiān)督學(xué)習(xí)中，算法接受帶有標(biāo)簽（目標(biāo)值）的輸入數(shù)據(jù)，并試圖學(xué)習(xí)一個(gè)函數(shù)，將輸入映射到正確的輸出。每個(gè)訓(xùn)練樣本都包含了輸入-輸出對(duì)，其中輸入是特征，輸出是目標(biāo)或標(biāo)簽。
有監(jiān)督學(xué)習(xí)通常用于解決分類和回歸問(wèn)題。在分類問(wèn)題中，算法需要將輸入數(shù)據(jù)分為不同的類別。在回歸問(wèn)題中，算法需要預(yù)測(cè)連續(xù)數(shù)值輸出。
示例：手寫數(shù)字識(shí)別（輸入是數(shù)字圖像，輸出是數(shù)字標(biāo)簽）、垃圾郵件檢測(cè)（輸入是電子郵件內(nèi)容，輸出是垃圾郵件或非垃圾郵件標(biāo)簽）。
無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）：
在無(wú)監(jiān)督學(xué)習(xí)中，算法接受沒(méi)有標(biāo)簽的輸入數(shù)據(jù)，目標(biāo)是從數(shù)據(jù)中發(fā)現(xiàn)模式、結(jié)構(gòu)或特征。無(wú)監(jiān)督學(xué)習(xí)的任務(wù)通常是在數(shù)據(jù)中進(jìn)行聚類、降維或生成。
無(wú)監(jiān)督學(xué)習(xí)通常用于聚類和降維問(wèn)題。在聚類中，算法試圖將數(shù)據(jù)分成不同的組，每個(gè)組內(nèi)的數(shù)據(jù)具有相似性質(zhì)。在降維中，算法試圖減少數(shù)據(jù)的維度，以提取最重要的特征。
示例：K均值聚類（將數(shù)據(jù)分成K個(gè)簇）、主成分分析（PCA，降維技術(shù)）、生成對(duì)抗網(wǎng)絡(luò)（GAN，生成模型）。
有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)中的兩大基本學(xué)習(xí)方式，它們分別用于處理帶有標(biāo)簽的數(shù)據(jù)和不帶標(biāo)簽的數(shù)據(jù)，并解決不同類型的任務(wù)。還有一種混合型學(xué)習(xí)方式稱為半監(jiān)督學(xué)習(xí)（Semi-Supervised
Learning），它結(jié)合了有監(jiān)督和無(wú)監(jiān)督學(xué)習(xí)的特點(diǎn)，通常在訓(xùn)練數(shù)據(jù)中同時(shí)包含帶標(biāo)簽和不帶標(biāo)簽的樣本，以提高模型性能。
03 什么是線性回歸
線性回歸（Linear Regression）是一種統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域中常用的回歸分析方法，用于建立輸入特征（自變量）與連續(xù)數(shù)值輸出（因變量）之間的線性關(guān)系。線性回歸假設(shè)輸出變量是輸入變量的線性組合，并嘗試找到最佳擬合的線性函數(shù)，以最小化實(shí)際觀測(cè)值與模型預(yù)測(cè)值之間的差距，通常使用均方誤差（Mean Squared Error）作為損失函數(shù)。
y=w0+w1x1+w2x2+…+wnxn
線性回歸的目標(biāo)是找到最佳的權(quán)重參數(shù)，使模型的預(yù)測(cè)值與實(shí)際觀測(cè)值之間的均方誤差最小化。這通常通過(guò)梯度下降等優(yōu)化算法來(lái)實(shí)現(xiàn)。
04 常見(jiàn)的損失函數(shù)有哪些
均方誤差（Mean Squared Error，MSE）：
用于回歸問(wèn)題。
計(jì)算預(yù)測(cè)值與實(shí)際值之間的平方差，然后取平均值。
平均絕對(duì)誤差（Mean Absolute Error，MAE）：
用于回歸問(wèn)題。
計(jì)算預(yù)測(cè)值與實(shí)際值之間的絕對(duì)差值，然后取平均值。
交叉熵?fù)p失（Cross-Entropy Loss）：
用于分類問(wèn)題。
通常與softmax激活函數(shù)一起使用，用于度量模型對(duì)每個(gè)類別的預(yù)測(cè)概率分布與實(shí)際標(biāo)簽之間的差異。
對(duì)數(shù)損失（Log Loss）：
用于二分類或多分類問(wèn)題。
Hinge損失：
用于支持向量機(jī)（SVM）等分類問(wèn)題。
衡量模型對(duì)正確類別的預(yù)測(cè)是否超過(guò)了一個(gè)邊界閾值。
KL散度：
用于度量?jī)蓚€(gè)概率分布之間的差異，常用于生成模型中。
自定義損失函數(shù)：
根據(jù)特定任務(wù)和模型需求，可以定義自定義損失函數(shù)，例如帶有正則化項(xiàng)的損失函數(shù)，或用于解決特定問(wèn)題的損失函數(shù)。
05 什么是梯度下降
梯度下降（Gradient Descent）是一種用于優(yōu)化機(jī)器學(xué)習(xí)模型的迭代優(yōu)化算法。它的目標(biāo)是最小化損失函數(shù)或成本函數(shù)，以找到模型參數(shù)的最佳值，從而使模型能夠盡可能準(zhǔn)確地預(yù)測(cè)目標(biāo)值。
梯度下降的基本思想是通過(guò)沿著損失函數(shù)梯度的反方向，逐漸更新模型參數(shù)，以降低損失函數(shù)的值。這個(gè)過(guò)程迭代進(jìn)行，直到達(dá)到某個(gè)停止條件，通常是達(dá)到最小損失或達(dá)到一定的訓(xùn)練迭代次數(shù)。
關(guān)鍵概念：
損失函數(shù)（Loss Function）：要優(yōu)化的目標(biāo)函數(shù)，它衡量了模型的預(yù)測(cè)值與實(shí)際觀測(cè)值之間的差異。通常用均方誤差（MSE）或交叉熵等損失函數(shù)。
梯度（Gradient）：損失函數(shù)對(duì)于模型參數(shù)的偏導(dǎo)數(shù)，表示損失函數(shù)隨著參數(shù)變化的速度和方向。梯度指向損失函數(shù)上升最快的方向，因此梯度的負(fù)方向指向損失函數(shù)下降最快的方向。
學(xué)習(xí)率（Learning Rate）：梯度下降的步長(zhǎng)或?qū)W習(xí)步長(zhǎng)，它決定了每次迭代中參數(shù)更新的大小。學(xué)習(xí)率太小可能導(dǎo)致訓(xùn)練過(guò)慢，學(xué)習(xí)率太大可能導(dǎo)致發(fā)散。
梯度下降的步驟如下：
初始化模型參數(shù)：首先，隨機(jī)初始化模型的參數(shù)或使用一些啟發(fā)式方法來(lái)初始化。
計(jì)算損失和梯度：使用當(dāng)前模型參數(shù)，計(jì)算損失函數(shù)的值以及相對(duì)于每個(gè)參數(shù)的梯度。
更新模型參數(shù)：將參數(shù)按照學(xué)習(xí)率和梯度的方向進(jìn)行更新。通常采用以下更新規(guī)則：新參數(shù)=舊參數(shù)?學(xué)習(xí)率×梯度新參數(shù)=舊參數(shù)?學(xué)習(xí)率×梯度
重復(fù)步驟2和3：迭代執(zhí)行步驟2和3，直到滿足停止條件，如達(dá)到最大迭代次數(shù)或損失函數(shù)足夠小。
06 什么是最小二乘法
最小二乘法是一種用于擬合數(shù)據(jù)和估計(jì)模型參數(shù)的常見(jiàn)統(tǒng)計(jì)方法。它的主要目標(biāo)是找到一組模型參數(shù)，使模型的預(yù)測(cè)值與實(shí)際觀測(cè)值之間的殘差平方和最小化。最小二乘法通常用于回歸分析，尤其是線性回歸問(wèn)題。
最小二乘法的基本思想是將數(shù)據(jù)集中的每個(gè)觀測(cè)值的誤差的平方和作為優(yōu)化目標(biāo)，然后通過(guò)對(duì)模型參數(shù)進(jìn)行微分來(lái)找到最小化這個(gè)目標(biāo)的參數(shù)值。
07 回歸 分類 聚類方法的區(qū)別
回歸（Regression）：
任務(wù)：回歸任務(wù)旨在預(yù)測(cè)連續(xù)數(shù)值輸出或目標(biāo)變量。它用于建立輸入特征與實(shí)際輸出之間的關(guān)系，以預(yù)測(cè)新的輸出值。
例子：房?jī)r(jià)預(yù)測(cè)、股票價(jià)格預(yù)測(cè)、氣溫預(yù)測(cè)等。
方法：回歸問(wèn)題通常使用線性回歸、多項(xiàng)式回歸、嶺回歸、Lasso回歸等算法，以建立輸入與輸出之間的數(shù)學(xué)關(guān)系。
分類（Classification）：
任務(wù)：分類任務(wù)旨在將數(shù)據(jù)分為不同的類別或標(biāo)簽。它是一個(gè)離散的任務(wù)，用于確定輸入屬于哪個(gè)類別。
例子：垃圾郵件檢測(cè)、圖像分類（貓/狗分類）、疾病診斷等。
方法：分類問(wèn)題通常使用邏輯回歸、決策樹、隨機(jī)森林、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等算法，以構(gòu)建決策邊界來(lái)分隔不同類別。
聚類（Clustering）：
任務(wù)：聚類任務(wù)旨在將數(shù)據(jù)集中的樣本劃分為不同的組或簇，其中每個(gè)簇包含具有相似性質(zhì)的樣本。
例子：客戶細(xì)分、圖像分割、文檔聚類等。
方法：聚類問(wèn)題通常使用K均值聚類、層次聚類、DBSCAN、譜聚類等算法，以將數(shù)據(jù)點(diǎn)組織成簇。
區(qū)別如下：
輸出類型：
回歸：連續(xù)數(shù)值輸出。
分類：離散類別標(biāo)簽輸出。
聚類：將數(shù)據(jù)點(diǎn)分組成簇，不涉及輸出標(biāo)簽。
任務(wù)目標(biāo)：
回歸：建立輸入和輸出之間的關(guān)系，以預(yù)測(cè)連續(xù)數(shù)值。
分類：將數(shù)據(jù)分為不同的類別。
聚類：將數(shù)據(jù)點(diǎn)分為相似的組。
適用方法：
回歸：線性回歸、多項(xiàng)式回歸等。
分類：邏輯回歸、決策樹、支持向量機(jī)等。
聚類：K均值聚類、層次聚類等。
08 生成模式 判別模式
生成模型（Generative Model）和判別模型（Discriminative Model）是機(jī)器學(xué)習(xí)中的兩種不同類型的模型，它們的主要區(qū)別在于其學(xué)習(xí)和應(yīng)用方式：
生成模型（Generative Model）：
任務(wù)：生成模型的主要任務(wù)是建模數(shù)據(jù)的生成過(guò)程，即學(xué)習(xí)如何從概率分布中生成數(shù)據(jù)樣本。它關(guān)注的是數(shù)據(jù)的生成概率分布。
特點(diǎn)：生成模型可以生成與訓(xùn)練數(shù)據(jù)類似的新樣本，因?yàn)樗鼈儾东@了數(shù)據(jù)的分布信息。
例子：高斯混合模型、變分自編碼器（Variational Autoencoder，VAE）、生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）等。
應(yīng)用：生成模型通常用于生成樣本、圖像合成、文本生成、數(shù)據(jù)增強(qiáng)等任務(wù)。
判別模型（Discriminative Model）：
任務(wù)：判別模型的主要任務(wù)是建模條件概率分布，即學(xué)習(xí)如何將輸入數(shù)據(jù)映射到輸出標(biāo)簽或類別。它關(guān)注的是類別決策邊界。
特點(diǎn)：判別模型不關(guān)心數(shù)據(jù)的生成過(guò)程，而是關(guān)注如何將輸入數(shù)據(jù)映射到相應(yīng)的類別標(biāo)簽。
例子：邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)分類器等。
應(yīng)用：判別模型通常用于分類、回歸、目標(biāo)檢測(cè)、文本情感分析等任務(wù)。
09 什么是欠擬合
欠擬合（Underfitting）是指機(jī)器學(xué)習(xí)模型對(duì)訓(xùn)練數(shù)據(jù)的學(xué)習(xí)不足，不能很好地?cái)M合數(shù)據(jù)的真實(shí)分布或趨勢(shì)。當(dāng)模型出現(xiàn)欠擬合時(shí)，它通常表現(xiàn)為在訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)上都表現(xiàn)不佳，無(wú)法捕獲數(shù)據(jù)中的復(fù)雜性和關(guān)鍵特征，導(dǎo)致模型的性能低于預(yù)期。
欠擬合可能發(fā)生的原因和特征包括：
模型復(fù)雜度不足：模型過(guò)于簡(jiǎn)單，無(wú)法適應(yīng)數(shù)據(jù)中的復(fù)雜關(guān)系。例如，使用線性模型擬合非線性數(shù)據(jù)。
特征選擇不當(dāng)：未選擇或忽略了與問(wèn)題相關(guān)的重要特征，導(dǎo)致模型無(wú)法捕獲數(shù)據(jù)的關(guān)鍵信息。
訓(xùn)練數(shù)據(jù)不足：訓(xùn)練數(shù)據(jù)量太小，無(wú)法提供足夠的信息來(lái)訓(xùn)練模型。
正則化過(guò)強(qiáng)：正則化項(xiàng)（如L1或L2正則化）的權(quán)重過(guò)高，導(dǎo)致模型受到限制，不能很好地?cái)M合數(shù)據(jù)。
數(shù)據(jù)噪聲：數(shù)據(jù)中包含大量噪聲或異常值，干擾了模型的學(xué)習(xí)過(guò)程。
10 如何避免欠擬合
????增加模型復(fù)雜度：選擇更復(fù)雜的模型，如使用深度神經(jīng)網(wǎng)絡(luò)或增加模型的參數(shù)。
? ??增加特征：選擇更多的相關(guān)特征，以提供更多信息來(lái)訓(xùn)練模型。
? ? 增加訓(xùn)練數(shù)據(jù)：收集更多的訓(xùn)練數(shù)據(jù)，以改善模型的泛化能力。
? ??降低正則化程度：減少正則化項(xiàng)的權(quán)重，以允許模型更好地?cái)M合訓(xùn)練數(shù)據(jù)。
? ??數(shù)據(jù)清洗：去除數(shù)據(jù)中的異常值和噪聲，以減少數(shù)據(jù)干擾。
等等
