3.27 請簡單闡述下決策樹、回歸、SVM、神經(jīng)?網(wǎng)絡(luò)等算法各?的優(yōu)缺點？ 正則化算法（Regularization Algorithms） 集成算法（Ensemble Algorithms） 決策樹算法（Decision Tree Algorithm） 回歸（Regression） ??神經(jīng)?絡(luò)（Artificial Neural Network） 深度學(xué)習(xí)（Deep Learning） ?持向量機（Support Vector Machine） 降維算法（Dimensionality Reduction Algorithms） 聚類算法（Clustering Algorithms） 基于實例的算法（Instance-based Algorithms） 貝葉斯算法（Bayesian Algorithms） 關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms） 圖模型（Graphical Models） 1. 正則化算法（Regularization Algorithms） 它是另?種?法（通常是回歸?法）的拓展，這種?法會基于模型復(fù)雜性對其進?懲罰，它喜歡相對簡單能夠更好的泛化的模型。如：嶺回歸（Ridge Regression）、最?絕對收縮與選擇算?（LASSO）、GLASSO、彈性?絡(luò)（Elastic Net）、最??回歸（Least-Angle Regression）。優(yōu)點是其懲罰會減少過擬合，總會有解決?法。缺點是懲罰會造成?擬合，很難校準(zhǔn)。 2. 集成算法（Ensemble Algorithms） 集成?法是由多個較弱的模型集成模型組，其中的模型可以單獨進?訓(xùn)練，并且它們的預(yù)測能以某種?式結(jié)合起來去做出?個總體預(yù)測。該算法主要的問題是要找出哪些較弱的模型可以結(jié)合起來，以及結(jié)合的?法。這是?個?常強?的技術(shù)集，因此?受歡迎。如：Boosting、Bootstrapped Aggregation（Bagging）、AdaBoost、層疊泛化（Stacked Generalization）（blending）、梯度推進機（Gradient Boosting Machines，GBM）、梯度提升回歸樹（Gradient Boosted Regression Trees， GBRT）、隨機森林（Random Forest）。優(yōu)點是：當(dāng)先最先進的預(yù)測?乎都使?了算法集成。它?使?單個模型預(yù)測出來的結(jié)果要精確的多；缺點是需要?量的維護?作。 3. 決策樹算法（Decision Tree Algorithm） 決策樹學(xué)習(xí)使??個決策樹作為?個預(yù)測模型，它將對?個 item（表征在分?上）觀察所得映射成關(guān)于該 item 的?標(biāo)值的結(jié)論（表征在葉?中）。樹模型中的?標(biāo)是可變的，可以采?組有限值，被稱為分類樹；在這些樹結(jié)構(gòu)中，葉?表?類標(biāo)簽，分?表?表征這些類標(biāo)簽的連接的特征。例如：分類和回歸樹（Classification and Regression Tree，CART）、Iterative Dichotomiser 3（ID3）、C4.5 和 C5.0（?種強??法的兩個不同版本）。優(yōu)點是容易解釋、?參數(shù)型；缺點是趨向過擬合、可能或陷于局部最?值中、沒有在線學(xué)習(xí)。 4. 回歸（Regression）算法 回歸是?于估計兩種變量之間關(guān)系的統(tǒng)計過程。當(dāng)?于分析因變量和?個多個?變量之間的關(guān)系時，該算法能提供很多建模和分析多個變量的技巧。具體?點說，回歸分析可以幫助我們理解當(dāng)任意?個?變量變化，另?個?變量不變時，因變量變化的典型值。最常見的是，回歸分析能在給定?變???量的條件下估計出因變量的條件期望?；貧w算法是統(tǒng)計學(xué)中的主要算法，它已被納?統(tǒng)計機器學(xué)習(xí)。?如普通最??乘回歸 （Ordinary Least Squares Regression，OLSR）、線性回歸 （Linear Regression）、邏輯回歸（Logistic Regression）、逐步回歸（Stepwise Regression）、多元?適應(yīng)回歸樣條（Multivariate Adaptive Regression Splines，MARS）、本地散點平滑估計（Locally Estimated Scatterplot Smoothing，LOESS）。優(yōu)點是直接、快速、知名度?。缺點是要求嚴(yán)格的假設(shè)、需要處理異常值。 5. 人工神經(jīng)網(wǎng)絡(luò) ??神經(jīng)?絡(luò)是受?物神經(jīng)?絡(luò)啟發(fā)?構(gòu)建的算法模型。它是?種模式匹配，常被?于回歸和分類問題，但擁有龐?的?域，由數(shù)百種算法和各類問題的變體組成。常見的例?有感知器、反向傳播、Hopfield ?絡(luò)、徑向基函數(shù)?絡(luò)（Radial Basis ?Function Network，RBFN）。優(yōu)點是在語?、語義、視覺、各類游戲（如圍棋）的任務(wù)中表現(xiàn)極好，算法可以快速調(diào)整，適應(yīng)新的問題。缺點是需要?量數(shù)據(jù)進?訓(xùn)練、訓(xùn)練要求很?的硬件配置、模型處于「?箱狀態(tài)」，難以理解內(nèi)部機制、元參數(shù)（Metaparameter）與?絡(luò)拓撲選擇困難。 6. 深度學(xué)習(xí)（Deep Learning） 深度學(xué)習(xí)是??神經(jīng)?絡(luò)的最新分?，它受益于當(dāng)代硬件的快速發(fā)展。眾多研究者?前的?向主要集中于構(gòu)建更?、更復(fù)雜的神經(jīng)?絡(luò)，?前有許多?法正在聚焦半監(jiān)督學(xué)習(xí)問題，其中?于訓(xùn)練的?數(shù)據(jù)集只包含很少的標(biāo)記。例?有深玻?茲曼機（Deep Boltzmann Machine，DBM）、Deep Belief Networks（DBN）、卷積神經(jīng)?絡(luò)（CNN）、Stacked Auto-Encoders。優(yōu)缺點同神經(jīng)?絡(luò)。 7. 支持向量機（Support Vector Machines） 給定?組訓(xùn)練事例，其中每個事例都屬于兩個類別中的?個，?持向量機（SVM）訓(xùn)練算法可以在被輸?新的事例后將其分類到兩個類別中的?個，使??成為?概率?進制線性分類器。SVM 模型將訓(xùn)練事例表?為空間中的點，它們被映射到?幅圖中，由?條明確的、盡可能寬的間隔分開以區(qū)分兩個類別。隨后，新的?例會被映射到同?空間中，并基于它們落在間隔的哪?側(cè)來預(yù)測它屬于的類別。優(yōu)點是在?線性可分問題上表現(xiàn)優(yōu)秀。缺點是?常難以訓(xùn)練，很難解釋。 8. 降維算法（Dimensionality Reduction Algorithms） 和集簇?法類似，降維追求并利?數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，?的在于使?較少的信息總結(jié)或描述數(shù)據(jù)。這?算法可?于可視化?維數(shù)據(jù)或簡化接下來可?于監(jiān)督學(xué)習(xí)中的數(shù)據(jù)。許多這樣的?法可針對分類和回歸的使?進?調(diào)整。例?有主成分分析（Principal Component Analysis (PCA)）、主成分回歸（Principal Component Regression (PCR)）、偏最??乘回歸（Partial Least Squares Regression (PLSR)）、Sammon 映射（Sammon Mapping）、多維尺度變換（Multidimensional Scaling (MDS)）、投影尋蹤（Projection Pursuit）、線性判別分析（Linear Discriminant Analysis (LDA)）、混合判別分析 （Mixture Discriminant Analysis (MDA)） 、 ? 次 判 別 分 析 （Quadratic Discriminant Analysis (QDA)）、靈活判別分析（Flexible Discriminant Analysis (FDA)）。優(yōu)點是可處理?規(guī)模數(shù)據(jù)集、?需在數(shù)據(jù)上進?假設(shè)；缺點是難以搞定?線性數(shù)據(jù)、難以理解結(jié)果的意義。 9. 聚類算法（Clustering Algorithms） 聚類算法是指對?組?標(biāo)進?分類，屬于同?組（亦即?個類，cluster）的?標(biāo)被劃分在?組??中，與其他組?標(biāo)相?，同?組?標(biāo)更加彼此相似（在某種意義上）。 例?有K-均值（k-Means）、k-Medians 算法、Expectation Maximization (EM)。 10. 最大期望算法（EM） 分層集群（Hierarchical Clustering）。優(yōu)點是讓數(shù)據(jù)變得有意義.缺點是結(jié)果難以解讀，針對不尋常的數(shù)據(jù)組，結(jié)果可能??。 11. 基于實例的算法（Instance-based Algorithms） 基于實例的算法（有時也稱為基于記憶的學(xué)習(xí)）是這樣學(xué) 習(xí)算法，不是明確歸納，?是將新的問題例?與訓(xùn)練過程中見過的例?進?對?，這些見過的例?就在存儲器中。之所以叫基于實例的算法是因為它直接從訓(xùn)練實例中建構(gòu)出假設(shè)。這意味這，假設(shè)的復(fù)雜度能隨著數(shù)據(jù)的增長?變化：最糟的情況是，假設(shè)是?個訓(xùn)練項?列表，分類?個單獨新實例計算復(fù)雜度為 O（n）例?有K 最近鄰（k- Nearest Neighbor (kNN)）、學(xué)習(xí)向量量化（Learning Vector Quantization (LVQ)）、?組織映射（Self-Organizing Map (SOM)）、局部加權(quán)學(xué)習(xí)（Locally Weighted Learning (LWL) ）。優(yōu)點是算法簡單、結(jié)果易于解讀。缺點是內(nèi)存使??常?、計算成本?、不可能?于?維特征空間。 12. 貝葉斯算法（Bayesian Algorithms） 貝葉斯?法是指明確應(yīng)?了貝葉斯定理來解決如分類和回歸等問題的?法。例?有樸素貝葉斯（Naive Bayes）、?斯樸素貝葉斯（Gaussian Naive Bayes）、多項式樸素貝葉斯（Multinomial Naive Bayes）、平均?致依賴估計器（Averaged One-Dependence Estimators (AODE)）、貝葉斯信念?絡(luò)（Bayesian Belief Network (BBN)）、貝葉斯?絡(luò)（Bayesian Network (BN)）。優(yōu)點有快速、易于訓(xùn)練、給出了它們所需的資源能帶來良好的表現(xiàn)。缺點有如果輸?變量是相關(guān)的，則會出現(xiàn)問題。 13. 關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms） 關(guān)聯(lián)規(guī)則學(xué)習(xí)?法能夠提取出對數(shù)據(jù)中的變量之間的關(guān)系的最佳解釋。?如說?家超市的銷售數(shù)據(jù)中存在規(guī)則 {洋蔥，??}=> {漢堡}，那說明當(dāng)?位客戶同時購買了洋蔥和??的時候，他很有可能還會購買漢堡?。例?有Apriori 算法（Apriori algorithm）、Eclat 算法（Eclat algorithm）、FP- growth、圖模型（Graphical Models）、圖模型或概率圖模型（PGM/probabilistic graphical model） 是?種概率模型，?個圖（graph）可以通過其表?隨機變量之間的條件依賴結(jié)構(gòu)（conditional dependence structure）。例?有貝葉斯?絡(luò)（Bayesian network）、馬爾可夫隨機域（Markov random field）、鏈圖（Chain Graphs）、祖先圖（Ancestral graph）。優(yōu)點有模型清晰，能被直觀地理解；缺點是確定其依賴的拓撲很困難，有時候也很模糊。