計(jì)算機(jī)畢業(yè)設(shè)計(jì)hadoop+spark+hive醫(yī)生推薦系統(tǒng) 醫(yī)生數(shù)據(jù)分析大屏 大數(shù)據(jù)畢業(yè)設(shè)計(jì)
2023-08-25 17:28 作者:計(jì)算機(jī)畢業(yè)設(shè)計(jì)之家 | 我要投稿
流程
1.Python爬蟲采集中華健康網(wǎng)約10萬醫(yī)生數(shù)據(jù)，最終存入mysql數(shù)據(jù)庫；
2.使用pandas+numpy/hadoop+mapreduce對(duì)mysql中的醫(yī)生數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，使用高德地圖解析地理位置，并將結(jié)果轉(zhuǎn)入.csv文件同時(shí)上傳到hdfs文件系統(tǒng)；
3.使用hive建庫建表，導(dǎo)入.csv數(shù)據(jù)集；
4.一半指標(biāo)使用離線數(shù)倉hive_sql分析，一半指標(biāo)使用實(shí)時(shí)數(shù)倉實(shí)時(shí)計(jì)算Spark之Scala實(shí)現(xiàn)；
5.使用sqoop將分析指標(biāo)導(dǎo)入mysql數(shù)據(jù)庫；
6.使用Flask+echarts實(shí)現(xiàn)可視化大屏界面；
創(chuàng)新點(diǎn)
高德地圖解析地理位置、海量醫(yī)生數(shù)據(jù)、Python爬蟲、炫酷可視化大屏
選裝
可選裝知識(shí)圖譜、推薦系統(tǒng)、預(yù)測(cè)系統(tǒng)、后臺(tái)管理等
實(shí)現(xiàn)界面如下(可0秒無縫對(duì)接安裝上)：
https://www.bilibili.com/video/BV1ah4y1M7Jx/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV11N411D7Yd/?spm_id_from=333.999.0.0
