計(jì)算機(jī)畢業(yè)設(shè)計(jì)吊打?qū)焗adoop+spark+hive知網(wǎng)文獻(xiàn)數(shù)據(jù)分析可視化大屏 知網(wǎng)文獻(xiàn)推薦系
## 開發(fā)技術(shù)：
spark hadoop hive 裝杯顯擺虛擬機(jī)Linux敲命令炫酷吊打 flask echarts sqoop scala hdfs yarn mysql requests爬蟲框架等；
## 流程：?
1.采集知網(wǎng)文獻(xiàn)數(shù)據(jù)，同步存到mysql數(shù)據(jù)庫和.csv文件，并將.csv上傳hdfs文件系統(tǒng)；
2.使用hive建庫建表導(dǎo)入hdfs中的.csv數(shù)據(jù);
3.一半的指標(biāo)使用hive_sql分析以后用sqoop導(dǎo)入mysql;一半的指標(biāo)使用Spark的scala分析計(jì)算后插入mysql;
4.使用glask+echarts構(gòu)建可視化大屏；
## 創(chuàng)新點(diǎn)：
Python爬蟲、可視化大屏、離線數(shù)倉hive+實(shí)時(shí)計(jì)算Spark雙結(jié)合雙實(shí)現(xiàn)防止導(dǎo)師噴人、使用vmvare虛擬機(jī)模擬大數(shù)據(jù)環(huán)境等
如果他(導(dǎo)師)還是狂噴不止，繼續(xù)選擇以下的系統(tǒng)，他們可以選裝牛鼻功能！
## 可選裝項(xiàng)目模塊如下：
1.推薦系統(tǒng)(4種深度學(xué)習(xí)推薦算法 協(xié)同過濾基于用戶 基于物品 SVD神經(jīng)網(wǎng)絡(luò) MLP)。附帶AI、支付、短信、lstm情感分析。
2.預(yù)測(cè)系統(tǒng)(KNN CNN RNN卷積神經(jīng)預(yù)測(cè) K-means 線性回歸)。
3.知識(shí)圖譜neo4j可視化關(guān)系網(wǎng)絡(luò)圖。
4.后臺(tái)管理系統(tǒng)。
## 注意：以上1234部分均采用springboot+vue.js前后端分離架構(gòu)?。?！
選裝視頻效果如下：
https://www.bilibili.com/video/BV1Vu411L7vU/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1zm4y1j7wx/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV15K411Z79Y/?spm_id_from=333.999.0.0
