在機(jī)器學(xué)習(xí)中，回歸任務(wù)是指預(yù)測(cè)連續(xù)值的預(yù)測(cè)性建模問題?；貧w任務(wù)的目標(biāo)是建立一個(gè)函數(shù)，該函數(shù)可以將輸入變量映射到連續(xù)的輸出變量?；貧w任務(wù)通常用于預(yù)測(cè)數(shù)值型數(shù)據(jù)，例如房價(jià)、股票價(jià)格、銷售額等。常見的回歸算法包括線性回歸、多項(xiàng)式回歸、嶺回歸、Lasso回歸等。123

回歸與分類的區(qū)別

回歸任務(wù)是機(jī)器學(xué)習(xí)中的一種監(jiān)督學(xué)習(xí)算法，用于預(yù)測(cè)連續(xù)型變量的值?；貧w任務(wù)的形式化描述如下：給定一個(gè)輸入向量x，回歸任務(wù)的目標(biāo)是預(yù)測(cè)一個(gè)實(shí)數(shù)值y，使得y與真實(shí)值y’之間的誤差最小。常見的回歸算法有線性回歸、多項(xiàng)式回歸、嶺回歸、Lasso回歸等1。

得到的預(yù)測(cè)模型是一個(gè)線性函數(shù)

得到的預(yù)測(cè)模型是非線性函數(shù)

回歸算法經(jīng)常用于預(yù)測(cè)，用一個(gè)連續(xù)的函數(shù)去預(yù)測(cè)未來和未知

【貝葉斯線性回歸】

貝葉斯線性回歸是一種貝葉斯統(tǒng)計(jì)模型，用于建立自變量和因變量之間的關(guān)系，并考慮先驗(yàn)分布和后驗(yàn)分布等問題。它是使用統(tǒng)計(jì)學(xué)中貝葉斯推斷方法求解的線性回歸模型。在貝葉斯線性回歸中，參數(shù)w不是未知定值，而是服從某一概率分布的變量。因此，貝葉斯線性回歸的問題就轉(zhuǎn)化為：通過訓(xùn)練數(shù)據(jù)D來求解參數(shù)w的后驗(yàn)概率分布p(w|y,X,σ2,θ)；通過參數(shù)w的后驗(yàn)概率分布來實(shí)現(xiàn)新數(shù)據(jù)x_new的預(yù)測(cè)，即p(y_new|X_new,X,y,σ2)。12

【百分比回歸】

百分比回歸是一種回歸分析方法，它是線性回歸的一種擴(kuò)展，可以用于處理因變量為百分?jǐn)?shù)的情況。在百分比回歸中，因變量是一個(gè)百分?jǐn)?shù)，而自變量可以是任何類型的變量。百分比回歸的目標(biāo)是找到一個(gè)最佳擬合線，使得因變量的百分?jǐn)?shù)與自變量之間的關(guān)系得到最佳描述。百分比回歸通常使用最小二乘法進(jìn)行估計(jì)，但也可以使用其他方法進(jìn)行估計(jì)。12

【嶺回歸】

嶺回歸是一種改良的最小二乘估計(jì)法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價(jià)獲得回歸系數(shù)，它是更為符合實(shí)際、更可靠的回歸方法，對(duì)存在離群點(diǎn)的數(shù)據(jù)的擬合要強(qiáng)于最小二乘法。嶺回歸的核心思想是在原來的最小二乘目標(biāo)函數(shù)上加上一個(gè)L2范數(shù)懲罰項(xiàng)，使得學(xué)習(xí)到的模型參數(shù)不會(huì)過大，避免過擬合問題。嶺回歸中的λ是一個(gè)可調(diào)參數(shù)，用于控制模型復(fù)雜度和擬合優(yōu)度12。

【什么是核嶺回歸？】

核嶺回歸算法是一種基于嶺回歸算法的核方法，它可以將自變量空間映射到高維特征空間，然后用嶺回歸方法在高維特征空間中分析和處理數(shù)據(jù)12。核嶺回歸算法的優(yōu)點(diǎn)是可以處理高維、非線性、共線性等問題，提高模型的穩(wěn)定性和泛化能力345。

核嶺回歸算法的基本思想是在原來的線性回歸損失函數(shù)上加上一個(gè)L2正則化項(xiàng)，用來限制參數(shù)的大小，減少過擬合的風(fēng)險(xiǎn)。然后，通過一個(gè)核函數(shù)將原始數(shù)據(jù)映射到一個(gè)高維的特征空間，使得數(shù)據(jù)在這個(gè)空間里更容易被線性分割。核函數(shù)的作用是計(jì)算兩個(gè)數(shù)據(jù)點(diǎn)在特征空間中的內(nèi)積，而不需要顯式地構(gòu)造特征空間。常用的核函數(shù)有線性核、多項(xiàng)式核、高斯核等12。

核嶺回歸算法的求解過程是利用矩陣求逆變換公式，將參數(shù)向量w表示為特征矩陣Φ和目標(biāo)向量y的函數(shù)，然后通過核矩陣K來代替ΦΦT，從而避免了直接求逆的困難。最后，得到預(yù)測(cè)函數(shù)f(x)，它是一個(gè)關(guān)于核矩陣K和目標(biāo)向量y的線性組合12。

【核嶺回歸算法和支持向量機(jī)有什么區(qū)別？】

核嶺回歸算法和支持向量機(jī)的區(qū)別主要有以下幾點(diǎn)：

• 核嶺回歸算法是一種基于L2正則化的線性回歸模型，而支持向量機(jī)是一種基于間隔最大化的分類模型12。

• 核嶺回歸算法的損失函數(shù)是最小二乘法，而支持向量機(jī)的損失函數(shù)是合頁損失函數(shù)12。

• 核嶺回歸算法的目標(biāo)是找到一個(gè)條狀區(qū)域，使得該區(qū)域內(nèi)的點(diǎn)沒有損失，該區(qū)域外的點(diǎn)的損失是到區(qū)域邊界的距離，而支持向量機(jī)的目標(biāo)是找到一個(gè)超平面，使得該超平面兩側(cè)的點(diǎn)到超平面的距離最大12。

• 核嶺回歸算法的參數(shù)向量w是稠密的，即大部分元素都不為零，而支持向量機(jī)的參數(shù)向量α是稀疏的，即大部分元素都為零12。

• 核嶺回歸算法在預(yù)測(cè)時(shí)需要用到所有的樣本點(diǎn)，而支持向量機(jī)在預(yù)測(cè)時(shí)只需要用到支持向量，即距離超平面最近的點(diǎn)12。

【核嶺回歸有什么經(jīng)典的應(yīng)用場(chǎng)景？】

核嶺回歸算法的應(yīng)用場(chǎng)景主要有以下幾點(diǎn)：

• 核嶺回歸算法可以用于處理高維、非線性、共線性等問題，提高模型的穩(wěn)定性和泛化能力123。

• 核嶺回歸算法可以用于進(jìn)行非線性回歸，通過核函數(shù)將原始數(shù)據(jù)映射到一個(gè)高維的特征空間，使得數(shù)據(jù)在這個(gè)空間里更容易被線性分割123。

• 核嶺回歸算法可以用于進(jìn)行特征選擇，通過正則化參數(shù)λ來控制模型的復(fù)雜度，從而篩選出對(duì)模型貢獻(xiàn)較大的特征23。

• 核嶺回歸算法可以用于進(jìn)行多任務(wù)學(xué)習(xí)，通過共享核矩陣來實(shí)現(xiàn)多個(gè)相關(guān)任務(wù)的同時(shí)學(xué)習(xí)，提高學(xué)習(xí)效率和準(zhǔn)確度3。

一些具體的應(yīng)用場(chǎng)景包括：

• 核嶺回歸算法可以用于進(jìn)行圖像重建，通過將圖像分解為低秩部分和稀疏部分，然后利用核嶺回歸算法來恢復(fù)低秩部分。

• 核嶺回歸算法可以用于進(jìn)行生物信息學(xué)中的基因表達(dá)預(yù)測(cè)，通過將基因表達(dá)數(shù)據(jù)映射到一個(gè)高維的核空間，然后利用核嶺回歸算法來預(yù)測(cè)新的基因表達(dá)水平。

• 核嶺回歸算法可以用于進(jìn)行金融市場(chǎng)中的股票價(jià)格預(yù)測(cè)，通過將股票價(jià)格數(shù)據(jù)映射到一個(gè)高維的核空間，然后利用核嶺回歸算法來預(yù)測(cè)未來的股票價(jià)格走勢(shì)。

【核嶺回歸算法可以用于進(jìn)行金融市場(chǎng)中的股票價(jià)格預(yù)測(cè)，通過將股票價(jià)格數(shù)據(jù)映射到一個(gè)高維的核空間，然后利用核嶺回歸算法來預(yù)測(cè)未來的股票價(jià)格走勢(shì)。——能否詳細(xì)解釋一下具體的方法？】

核嶺回歸算法用于進(jìn)行金融市場(chǎng)中的股票價(jià)格預(yù)測(cè)的具體方法大致如下：

• 首先，需要收集股票價(jià)格的歷史數(shù)據(jù)，以及可能影響股票價(jià)格的其他因素，如市場(chǎng)指數(shù)、宏觀經(jīng)濟(jì)、公司財(cái)報(bào)等。

• 其次，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，如缺失值處理、異常值處理、特征選擇、特征標(biāo)準(zhǔn)化等。

• 然后，需要選擇一個(gè)合適的核函數(shù)，將數(shù)據(jù)映射到一個(gè)高維的特征空間，使得數(shù)據(jù)在這個(gè)空間里更容易被線性分割。

• 接著，需要確定一個(gè)合適的正則化參數(shù)λ，用于控制模型的復(fù)雜度和泛化能力。

• 最后，需要利用核嶺回歸算法來擬合訓(xùn)練數(shù)據(jù)，并用擬合出的模型來預(yù)測(cè)測(cè)試數(shù)據(jù)或未來數(shù)據(jù)的股票價(jià)格。

一些參考資料如下：

• python 嶺回歸算法之回歸實(shí)操 - 知乎1

• 【機(jī)器學(xué)習(xí)】嶺回歸（Kernel Ridge Regression）附python代碼_核嶺回歸代碼_圈外人的博客-CSDN博客2

• 沒忍住，還是用機(jī)器學(xué)習(xí)預(yù)測(cè)了一下股票 - 知乎3

沒忍住，還是用機(jī)器學(xué)習(xí)預(yù)測(cè)了一下股票 - 知乎 (zhihu.com)

——

總結(jié)

本文嘗試了用LSTM預(yù)測(cè)股票的收盤價(jià)格，預(yù)測(cè)的結(jié)果誤差很小，但是該預(yù)測(cè)無法用于實(shí)戰(zhàn)。原因如下：

1. 結(jié)果誤差雖然很小，但是這是統(tǒng)計(jì)值，一次預(yù)測(cè)失誤就可能讓你"梭哈"血本全無

2. 從預(yù)測(cè)曲線上看，該“預(yù)測(cè)”還是很蠢，有明顯的滯后性，比如昨天漲了，LSTM預(yù)測(cè)明天會(huì)漲。

3. LSTM的精度竟然比不過“很傻很天真”的預(yù)測(cè)方式。

股票準(zhǔn)不準(zhǔn)，其實(shí)是個(gè)沒用的“指標(biāo)”，因?yàn)轭A(yù)測(cè)誤差差一丟丟，都可能全盤皆輸。股票是基于策略的，哪怕預(yù)測(cè)價(jià)格不準(zhǔn)，但是預(yù)測(cè)大致的漲與跌，就可獲利。所以，基于策略的強(qiáng)化學(xué)習(xí)會(huì)是很好的方向。

所以本文就是個(gè)"LSTM教程”，至于預(yù)測(cè)股票，就當(dāng)是個(gè)笑話。

【支撐向量回歸】

支撐向量回歸（SVR）是一種監(jiān)督學(xué)習(xí)算法，用于預(yù)測(cè)連續(xù)值。與線性回歸不同，SVR 能容忍模型輸出與真實(shí)值最多有 ε 的誤差，只有模型輸出與真實(shí)值的誤差超過 ε 時(shí)才去計(jì)算損失值1。SVR 背后的基本思想是找到最佳擬合線。在 SVR 中，最佳擬合線是點(diǎn)數(shù)最多的超平面2。

【分位數(shù)回歸】

分位數(shù)回歸是線性回歸的擴(kuò)展，當(dāng)不滿足線性回歸的條件（即線性，均方差，獨(dú)立性或正態(tài)性）時(shí)使用。分位數(shù)回歸將數(shù)據(jù)按因變量進(jìn)行拆分成多個(gè)分位數(shù)點(diǎn)，研究不同分位點(diǎn)情況下時(shí)的回歸影響關(guān)系情況123。

【回歸樹】

回歸樹是一種決策樹，用于回歸問題。它將數(shù)據(jù)集分成多個(gè)區(qū)域，每個(gè)區(qū)域都擬合一個(gè)常數(shù)。這些常數(shù)是通過最小化區(qū)域內(nèi)的平方誤差來確定的?；貧w樹的優(yōu)點(diǎn)是可以處理非線性關(guān)系，而且不需要對(duì)數(shù)據(jù)進(jìn)行任何變換。它的缺點(diǎn)是容易過度擬合，因此需要進(jìn)行剪枝123。

【級(jí)聯(lián)相關(guān)回歸】

級(jí)聯(lián)相關(guān)是一個(gè)術(shù)語，可以用于不同的領(lǐng)域。在計(jì)算機(jī)網(wǎng)絡(luò)中，級(jí)聯(lián)可以定義為兩臺(tái)或兩臺(tái)以上的交換機(jī)通過一定的方式相互連接，根據(jù)需要，多臺(tái)交換機(jī)可以以多種方式進(jìn)行級(jí)聯(lián)。在深度學(xué)習(xí)中，級(jí)聯(lián)是指將多個(gè)分類器級(jí)聯(lián)起來，以提高分類性能。在神經(jīng)網(wǎng)絡(luò)中，級(jí)聯(lián)相關(guān)神經(jīng)網(wǎng)絡(luò)是從一個(gè)小網(wǎng)絡(luò)開始，自動(dòng)訓(xùn)練和添加隱含單元，最終形成一個(gè)多層的結(jié)構(gòu)123。

【分組方法數(shù)據(jù)處理回歸】

分組方法數(shù)據(jù)處理回歸是一種數(shù)據(jù)分析方法，它可以用于探究自變量和因變量之間的關(guān)系，并且可以考慮到調(diào)節(jié)變量的影響。在分組方法數(shù)據(jù)處理回歸中，數(shù)據(jù)會(huì)被分成不同的組別，每個(gè)組別內(nèi)部的數(shù)據(jù)會(huì)被用來進(jìn)行回歸分析。這種方法可以用來探究不同組別之間的差異，以及不同自變量對(duì)因變量的影響是否存在差異123。

【多元自適應(yīng)回歸樣條】

多元自適應(yīng)回歸樣條（Multivariate Adaptive Regression Splines，MARS）是一個(gè)回歸問題的自適應(yīng)過程，非常適用于高維問題中（即有大量的輸入變量）1。MARS主要處理高維度（待回歸項(xiàng)比較多）回歸問題，可將它視為一個(gè)對(duì)逐步線性回歸的推廣，或?qū)ART的增強(qiáng)在回歸問題中表現(xiàn)的改進(jìn)2。

MARS方法以樣條函數(shù)的張量積作為基函數(shù)，分為前向過程、后向剪枝過程與模型選取三個(gè)步驟。其優(yōu)勢(shì)在于能夠處理數(shù)據(jù)量大、維度高的數(shù)據(jù)集，并且能夠自動(dòng)選擇重要變量3。

【多元線性插值回歸】

多元線性插值回歸是一種回歸分析方法，它是在多元線性回歸的基礎(chǔ)上，將自變量與因變量之間的關(guān)系用插值函數(shù)來描述，從而得到一個(gè)連續(xù)的函數(shù)模型。多元線性插值回歸的主要思想是利用已知數(shù)據(jù)點(diǎn)之間的連續(xù)性，通過插值函數(shù)來描述自變量與因變量之間的關(guān)系，從而得到一個(gè)連續(xù)的函數(shù)模型。