計(jì)算機(jī)畢業(yè)設(shè)計(jì)hadoop+spark+hive直播可視化分析大屏 直播推薦系統(tǒng) 數(shù)據(jù)倉(cāng)庫(kù) 大數(shù)據(jù)
2023-08-10 22:12 作者:計(jì)算機(jī)畢業(yè)設(shè)計(jì)之家 | 我要投稿
開(kāi)發(fā)技術(shù)
selenium(Python爬蟲(chóng))、spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql
分析流程
python爬取直播數(shù)據(jù)存到.csv文件、mysql數(shù)據(jù)庫(kù)(備份數(shù)據(jù)集)，上傳CSV到hdfs分布式文件系統(tǒng)上，hive導(dǎo)入csv建模，一部分指標(biāo)使用hive_sql分析后用sqoop導(dǎo)入mysql，一部分指標(biāo)使用idea+spark+scala分析計(jì)算存入mysql。最終利用flask+echarts構(gòu)建可視化大屏炫酷顯擺！
創(chuàng)新點(diǎn)
可視化大屏；
spark+hive離線計(jì)算、實(shí)時(shí)計(jì)算全部實(shí)現(xiàn)；
Python爬蟲(chóng)采集真實(shí)直播數(shù)據(jù)(全網(wǎng)唯一！?。?
題目特色
比較冷門(mén)，就算有人給你撞題了我的系統(tǒng)你也可以分分鐘吊打答辯現(xiàn)場(chǎng)！
如果還覺(jué)得辣雞可以選裝推薦系統(tǒng)(4種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)推薦)、預(yù)測(cè)系統(tǒng)(卷積神經(jīng))、知識(shí)圖譜、后臺(tái)管理
選裝系統(tǒng)界面如下：
https://www.bilibili.com/video/BV1i14y1o76A/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1Kg4y1P7aT/?spm_id_from=333.999.0.0
