計(jì)算機(jī)畢業(yè)設(shè)計(jì)Hadoop+Spark電商網(wǎng)站用戶行為分析系統(tǒng) 用戶畫像系統(tǒng) 電商數(shù)據(jù)分析
開發(fā)技術(shù)
數(shù)據(jù)分析層
MapReduce
Hive
SparkSQL
SparkCore
azkaban/crontab
Hive + HBase(SQL)
HBase + Phoenix
數(shù)據(jù)展示層
Sqoop 導(dǎo)入到 MySQL 或是HBase
結(jié)合三大框架: Spring + Sturts2 + MyBatis ==> SSM
Echarts工具
功能
設(shè)計(jì)并開發(fā)一個(gè)網(wǎng)站用戶行為分析系統(tǒng)。主要功能包括:
1. 數(shù)據(jù)采集系統(tǒng):主要負(fù)責(zé)各種用戶信息數(shù)據(jù)的收集工作。
2. 原始數(shù)據(jù)存儲(chǔ)系統(tǒng):主要負(fù)責(zé)把收集出來打大量數(shù)據(jù)儲(chǔ)存到可以做分析的系統(tǒng)平臺(tái)上。
3. 原始數(shù)據(jù)清洗系統(tǒng):主要負(fù)責(zé)原始數(shù)據(jù)的格式化清洗和查詢出自己業(yè)務(wù)需要的數(shù)據(jù)格式。
4. 可用數(shù)據(jù)存儲(chǔ)模塊:主要負(fù)責(zé)把清除出來的需要用的數(shù)據(jù)放到數(shù)據(jù)倉(cāng)庫(kù)中使之可以用hql進(jìn)行查詢分析,然后得出每個(gè)業(yè)務(wù)需要的不同數(shù)據(jù)指標(biāo)。
5. 數(shù)據(jù)分析展示系統(tǒng):主要負(fù)責(zé)把分析出來的數(shù)據(jù)指標(biāo)展示出來給人們分析這個(gè)網(wǎng)站的友好度,和他的完成度或者找出網(wǎng)站中出現(xiàn)了什么問題,來分析用戶行為的特征做出不同的策略。
運(yùn)行截圖
























