流程

1.Python爬蟲(chóng)采集懂車(chē)帝汽車(chē)評(píng)分?jǐn)?shù)據(jù)、汽車(chē)評(píng)論數(shù)據(jù)、車(chē)評(píng)人數(shù)據(jù)等存入mysql和.csv文件；

2.使用pandas+numpy或者M(jìn)apReduce對(duì)上面的數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗生成最終上傳到hdfs；

3.使用hive數(shù)據(jù)倉(cāng)庫(kù)完成建庫(kù)建表導(dǎo)入.csv數(shù)據(jù)集；

4.使用hive之hive_sql進(jìn)行離線計(jì)算，使用spark之scala進(jìn)行實(shí)時(shí)計(jì)算；

5.將計(jì)算指標(biāo)使用sqoop工具導(dǎo)入mysql；

6.使用Flask+echarts進(jìn)行可視化大屏實(shí)現(xiàn)；

創(chuàng)新點(diǎn)

• nlp文本分類(lèi)情感分析

• 裝杯大屏幕

• Python爬蟲(chóng)采集海量(10萬(wàn)+數(shù)據(jù))

• hive離線計(jì)算+spark實(shí)時(shí)計(jì)算雙實(shí)現(xiàn)防止導(dǎo)師噴你

注意：如果你還覺(jué)得系統(tǒng)工作量不夠或者太low可以選裝推薦算法、預(yù)測(cè)算法、知識(shí)圖譜、后臺(tái)管理等，實(shí)現(xiàn)效果如下(本人保證可以0秒無(wú)縫選裝無(wú)縫對(duì)接！)：

https://www.bilibili.com/video/BV1cb4y1n7Yy/?spm_id_from=333.999.0.0