大數(shù)據(jù)畢業(yè)設(shè)計(jì)hadoop+spark+hive游戲數(shù)據(jù)分析可視化大屏 游戲推薦系統(tǒng) 游戲爬蟲
2023-08-17 21:44 作者:計(jì)算機(jī)畢業(yè)設(shè)計(jì)之家 | 我要投稿
流程
1.Python爬取steam或者其他游戲站點(diǎn)數(shù)據(jù)存到.csv和mysql數(shù)據(jù)庫(kù)(雙備份)；
2.將.csv文件上傳到hdfs文件系統(tǒng)；
3.使用hive建表建庫(kù)，并且導(dǎo)入.csv文件建立數(shù)據(jù)倉(cāng)庫(kù);
4.一半分析指標(biāo)使用hive_sql完成，一半分析指標(biāo)使用Spark完成；
5.分析結(jié)果使用sqoop導(dǎo)入mysql數(shù)據(jù)庫(kù)；
6.使用Flask+echarts搭建可視化大屏；
創(chuàng)新點(diǎn)
python爬蟲、spark實(shí)時(shí)計(jì)算+hive數(shù)據(jù)倉(cāng)庫(kù)離線計(jì)算雙實(shí)現(xiàn)、可視化大屏
注意：如果你還覺得本系統(tǒng)太low,可以選裝推薦系統(tǒng)、預(yù)測(cè)系統(tǒng)、后臺(tái)管理系統(tǒng)、知識(shí)圖譜等，如下界面(0秒選裝安裝無縫銜接)：
https://www.bilibili.com/video/BV1PA411Q7iC/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1Eg41147So/?spm_id_from=333.999.0.0
