計算機畢業(yè)設(shè)計吊打?qū)焗adoop+spark+hive知識圖譜bilibili視頻數(shù)據(jù)分析可視化大屏

開發(fā)技術(shù):spark hadoop hive selenium爬蟲 flask echarts
創(chuàng)新點:1、顯擺hive+hadoop離線計算、spark實時計算全部實現(xiàn),防止導(dǎo)師噴你只有離線計算或者實時計算。
2、爬蟲采集海量每日真實視頻數(shù)據(jù)。
3、flask+echarts可視化大屏高端大氣上檔次。
如果他(導(dǎo)師)還是狂噴不止,繼續(xù)選擇以下的系統(tǒng),他們可以選裝牛鼻功能!
可選裝項目模塊如下:
1.推薦系統(tǒng)(4種深度學(xué)習(xí)推薦算法 協(xié)同過濾基于用戶 基于物品 SVD神經(jīng)網(wǎng)絡(luò) MLP)。附帶AI、支付、短信、lstm情感分析。
2.預(yù)測系統(tǒng)(KNN CNN RNN卷積神經(jīng)預(yù)測 K-means 線性回歸)。
3.知識圖譜neo4j可視化關(guān)系網(wǎng)絡(luò)圖。
4.后臺管理系統(tǒng)。
注意:以上1234部分均采用springboot+vue.js前后端分離架構(gòu)?。?!
選裝視頻效果如下:
https://www.bilibili.com/video/BV1Lz4y1p7Bt/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1A14y1m7xo/?spm_id_from=333.999.0.0
題外話:
有的學(xué)校光做帶虛擬機hadoop spark hive實時數(shù)倉 離線數(shù)倉 實時計算 離線計算的大屏幕還不讓過
言外之意導(dǎo)師的意思就是讓你加預(yù)測算法 推薦算法 知識圖譜之類的
那么你可以選裝 我們下面這個系統(tǒng)的前臺系統(tǒng)(4種推薦算法 AI 短信 支付 預(yù)測算法 lstm情感分析)
后臺管理系統(tǒng)(帶知識圖譜)
這兩個系統(tǒng)可以無縫銜接無縫選裝的原因: 因為我做了接耦合度
當(dāng)前這個爬蟲爬完的數(shù)據(jù) 一個方向是進(jìn)csv通過虛擬機計算進(jìn)指標(biāo)表 另一個方向是進(jìn)視頻相關(guān)的mysql表
mysql表的數(shù)據(jù)可以為前臺系統(tǒng) 后臺系統(tǒng)提供數(shù)據(jù)查詢和更新服務(wù)
https://www.bilibili.com/video/BV1Lz4y1p7Bt/?spm_id_from=333.999.0.0













