全文鏈接：http://tecdat.cn/?p=31948

原文出處：拓端數(shù)據(jù)部落公眾號(hào)

本文利用R語言的獨(dú)立成分分析（ICA）、譜聚類（CS）和支持向量回歸 SVR 模型幫助客戶對(duì)商店銷量進(jìn)行預(yù)測。首先，分別對(duì)商店銷量的歷史數(shù)據(jù)進(jìn)行了獨(dú)立成分分析，得到了多個(gè)獨(dú)立成分；其次，利用譜聚類方法將商店銷量劃分成了若干類，并將每個(gè)類的特征進(jìn)行了提取；最后，利用 SVR模型對(duì)所有的商店銷量進(jìn)行預(yù)測。實(shí)驗(yàn)結(jié)果表明，利用 FastICA、 CS和 SVR模型能夠準(zhǔn)確預(yù)測商店銷量。

讀取數(shù)據(jù)

read.csv("train_final.csv")head(data)

獨(dú)立成分分析方法（fastICA）

首先對(duì)于d維的隨機(jī)變量?x∈Rd×1?，我們假設(shè)他的產(chǎn)生過程是由相互獨(dú)立的源?s∈Rd×1?，通過?A∈Rd×d?線性組合產(chǎn)生的x=As

如果s的服從高斯分布的，那么故事結(jié)束，我們不能恢復(fù)出唯一的s，因?yàn)椴还苣膫€(gè)方向都是等價(jià)的。而如果s是非高斯的，那么我們希望找到w從而?s=wTx?，使得?s?之間的相互獨(dú)立就可以恢復(fù)出s了，我將在后面指出，這等價(jià)于最大化每個(gè)?s?的非高斯性。

采用獨(dú)立成分分析方法（fastICA），得到矩陣W,A和ICs等獨(dú)立成分結(jié)果（是否需要pca降維？）。

reeplot(prcomp(

譜聚類

譜聚類（spectral cluster），這里的譜指的是某個(gè)矩陣的特征值，該矩陣是什么，什么得來的，以及在聚類中的作用將會(huì)在下文解一一道來。譜聚類的思想來源于圖論，它把待聚類的數(shù)據(jù)集中的每一個(gè)樣本看做是圖中一個(gè)頂點(diǎn)，這些頂點(diǎn)連接在一起，連接的這些邊上有權(quán)重，權(quán)重的大小表示這些樣本之間的相似程度。同一類的頂點(diǎn)它們的相似程度很高，在圖論中體現(xiàn)為同一類的頂點(diǎn)中連接它們的邊的權(quán)重很大，不在同一類的頂點(diǎn)連接它們的邊的權(quán)重很小。于是譜聚類的最終目標(biāo)就是找到一種切割圖的方法，使得切割之后的各個(gè)子圖內(nèi)的權(quán)重很大，子圖之間的權(quán)重很小。

采用譜聚類方式對(duì)所有矩陣的列進(jìn)行聚類，得到兩到三種不同的聚類結(jié)果（如何）。

譜聚類聚成2個(gè)類別

sc <- spec

聚成3個(gè)類別

SVR模型

SVR是支持向量機(jī)（SVM）的重要應(yīng)用分支。通過SVR算法，可以找到一個(gè)回歸平面并使得一個(gè)集合中的所有數(shù)據(jù)距離該平面的距離最短。

使用場景

SVR是一個(gè)回歸模型，主要是用于擬合數(shù)值，一般應(yīng)用于特征較為稀疏且特征數(shù)較少的場景。

例如，可以使用SVR回歸模型來預(yù)測某個(gè)城市的溫度。輸入特征有很多，例如這個(gè)城市某個(gè)時(shí)期的平均溫度、綠化程度、湖泊數(shù)量以及日期等。訓(xùn)練數(shù)據(jù)可以是一段時(shí)間內(nèi)的城市溫度。

對(duì)所有數(shù)據(jù)采用log標(biāo)準(zhǔn)化處理，然后對(duì)不同的類的訓(xùn)練集分別采用SVR模型訓(xùn)練，再用測試集得到測試結(jié)果

所需結(jié)果：

k個(gè)不同模式時(shí)間序列圖（分屬不同類的某個(gè)部門時(shí)間序列），表征不同類之間的差異與同類之內(nèi)的相似.

pre=SVRModel

不同類測試集所采用SVR模型的不同參數(shù)（C，ε，σ）。

不同類測試集所采用SVR模型之后的預(yù)測結(jié)果（RMSE，MAD，MAPE，MPE），

RMSE(test,yHat)## [1] 0.1354805MAE(test,yHat)## [1] 0.1109939MAPE(test,yHat)## [1] 1.099158#MPE ?? ? ftsa::error(forecast =yHat, true = test, method = "mpe")## [1] 1.099158

預(yù)測模型

預(yù)測模型加入時(shí)間序列向前1周，2周，3周，4周時(shí)的數(shù)據(jù)作為輸入變量，采用不同聚類方式所得預(yù)測結(jié)果。

向前2周

不同類測試集所采用SVR模型之后的預(yù)測結(jié)果（RMSE，MAD，MAPE，MPE）

RMSE(test,yHat)## [1] 0.09735726MAE(test,yHat)## [1] 0.0655883MAPE(test,yHat)## [1] 0.6538239#MPE ? ?ftsa::error(forecast =yHat, true = test, method = "mpe")## [1] 0.467259

最受歡迎的見解

1.R語言k-Shape算法股票價(jià)格時(shí)間序列聚類

2.R語言基于溫度對(duì)城市層次聚類、kmean聚類、主成分分析和Voronoi圖

3.R語言對(duì)用電負(fù)荷時(shí)間序列數(shù)據(jù)進(jìn)行K-medoids聚類建模和GAM回歸

4.r語言鳶尾花iris數(shù)據(jù)集的層次聚類

5.Python Monte Carlo K-Means聚類實(shí)戰(zhàn)

6.用R進(jìn)行網(wǎng)站評(píng)論文本挖掘聚類

7.R語言KMEANS均值聚類和層次聚類：亞洲國家地區(qū)生活幸福質(zhì)量異同可視化

8.PYTHON用戶流失數(shù)據(jù)挖掘：建立邏輯回歸、XGBOOST、隨機(jī)森林、決策樹、支持向量機(jī)、樸素貝葉斯模型和KMEANS聚類用戶畫像

9.R語言基于Keras的小數(shù)據(jù)集深度學(xué)習(xí)圖像分類