流程：

1.采集雪球網(wǎng)約50萬(wàn)股票數(shù)據(jù)存入mysql;

2.使用pandas+numpy或hadoop+mapreduce對(duì)mysql中的數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗并轉(zhuǎn)存.csv文件上傳到hdfs;

3.使用hive建表建庫(kù)導(dǎo)入hdfs中的.csv數(shù)據(jù)集;

4.一半指標(biāo)使用hive_sql進(jìn)行離線計(jì)算分析，一半指標(biāo)使用Spark之Scala語(yǔ)法進(jìn)行實(shí)時(shí)計(jì)算分析；

5.分析結(jié)果使用sqoop導(dǎo)入mysql數(shù)據(jù)庫(kù)；

6.使用flask+echarts搭建可視化大屏界面；

創(chuàng)新點(diǎn)：Python爬蟲(chóng)、海量數(shù)據(jù)、可視化大屏、實(shí)時(shí)+離線計(jì)算雙實(shí)現(xiàn)

選裝(如果覺(jué)得功能還不夠，可以選裝推薦系統(tǒng)、預(yù)測(cè)系統(tǒng)、知識(shí)圖圖譜，可以0秒對(duì)接選裝，效果如下)：

https://www.bilibili.com/video/BV1a14y1R7Cf/?spm_id_from=333.999.0.0

https://www.bilibili.com/video/BV1fN411m7M2/?spm_id_from=333.999.0.0

## 可選裝項(xiàng)目模塊如下：

1.推薦系統(tǒng)(4種深度學(xué)習(xí)推薦算法 協(xié)同過(guò)濾基于用戶 基于物品 SVD神經(jīng)網(wǎng)絡(luò) MLP)。附帶AI、支付、短信、lstm情感分析。

2.預(yù)測(cè)系統(tǒng)(KNN CNN RNN卷積神經(jīng)預(yù)測(cè) K-means 線性回歸)。

3.知識(shí)圖譜neo4j可視化關(guān)系網(wǎng)絡(luò)圖。

4.后臺(tái)管理系統(tǒng)。

計(jì)算機(jī)畢業(yè)設(shè)計(jì)吊打?qū)焗adoop+spark+hive知識(shí)圖譜股票推薦系統(tǒng) 股票數(shù)據(jù)分析可視化大屏 股票基金爬蟲(chóng) 股票基金大數(shù)據(jù) 機(jī)器學(xué)習(xí) 大數(shù)據(jù)畢業(yè)設(shè)計(jì)