計(jì)算機(jī)畢業(yè)設(shè)計(jì)spark+hive+nlp租房數(shù)據(jù)分析可視化大屏 租房推薦系統(tǒng) 大數(shù)據(jù)畢業(yè)設(shè)計(jì)
2023-08-15 01:37 作者:計(jì)算機(jī)畢業(yè)設(shè)計(jì)之家 | 我要投稿
流程：
1.爬取58同城租房信息約10萬條，可以選擇你想要爬取的城市，爬完生成.csv文件同時(shí)向mysql數(shù)據(jù)庫保存一份；
2.上傳csv到hdfs中，使用hive建表導(dǎo)入CSV數(shù)據(jù)。
3.一部分分析使用Spark實(shí)時(shí)計(jì)算完成，一部分分析使用hive sql完成；
4.計(jì)算結(jié)果使用sqoop工具對接到mysql數(shù)據(jù)庫的指標(biāo)表；
5.使用flask+echarts制作可視化大屏；
創(chuàng)新點(diǎn)：selenium采集海量租房數(shù)據(jù)、可視化大屏、spark+hive離線計(jì)算實(shí)時(shí)計(jì)算全部實(shí)現(xiàn)、使用NLP文本分類模型對租房信息的評論部分進(jìn)行深度學(xué)習(xí)訓(xùn)練分析
注意：如果還覺得系統(tǒng)太簡單不夠工作量，可以選裝推薦系統(tǒng)、預(yù)測系統(tǒng)、知識圖譜、后臺管理，我這邊能1秒無縫對接，實(shí)現(xiàn)界面如下：
https://www.bilibili.com/video/BV1HL4y1b7TK/?spm_id_from=333.999.0.0
