數(shù)倉(cāng)建模 項(xiàng)目_音樂數(shù)據(jù)項(xiàng)目火力全開，技能雙倍提升！
音樂數(shù)據(jù)中心數(shù)倉(cāng)綜合項(xiàng)目
數(shù)據(jù)倉(cāng)庫(kù)大家都聽過，是存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)
以下是基于大數(shù)據(jù)的spark項(xiàng)目介紹
1、項(xiàng)目介紹
????音樂數(shù)據(jù)中心項(xiàng)目是大型企業(yè)級(jí)綜合數(shù)倉(cāng)項(xiàng)目，此項(xiàng)目針對(duì)音樂數(shù)據(jù)進(jìn)行分析，構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，建立用戶、機(jī)器、內(nèi)容等主題進(jìn)行數(shù)據(jù)分析，涉及數(shù)倉(cāng)建模理論基礎(chǔ)、數(shù)倉(cāng)建模規(guī)則、數(shù)倉(cāng)建模命名設(shè)計(jì)規(guī)范、數(shù)倉(cāng)分層設(shè)計(jì)、數(shù)倉(cāng)數(shù)據(jù)采集、數(shù)據(jù)ETL、數(shù)據(jù)質(zhì)量檢驗(yàn)、各主題業(yè)務(wù)處理流程設(shè)計(jì)、實(shí)時(shí)數(shù)據(jù)處理、任務(wù)流調(diào)度、數(shù)據(jù)可視化等實(shí)際企業(yè)級(jí)大數(shù)據(jù)數(shù)據(jù)中心建設(shè)使用到的方法論及實(shí)際技術(shù)使用流程。
音樂數(shù)據(jù)中心主要使用技術(shù)如下：
CDH
flume
sqoop
HDFS
Spark
SparkSQL
Hive
Hbase
Zookeeper
kafka
mysql
redis
yarn
superset
Azkaban
......
2、項(xiàng)目核心功能模塊
音樂數(shù)據(jù)中心數(shù)倉(cāng)項(xiàng)目主要分析業(yè)務(wù)如下：
針對(duì)業(yè)務(wù)數(shù)倉(cāng)建模分層設(shè)計(jì)
關(guān)系型數(shù)據(jù)庫(kù)批量、實(shí)時(shí)采集到數(shù)據(jù)中心
SpringBoot日志采集接口采集日志數(shù)據(jù)到數(shù)據(jù)中心
歌曲、歌手熱度分析
機(jī)器分布分析
機(jī)器位置信息統(tǒng)計(jì)分析
活躍、留存用戶分析
用戶機(jī)器營(yíng)收分析
商戶營(yíng)收數(shù)據(jù)分析
地域營(yíng)收分析
實(shí)時(shí)熱歌榜單分析
實(shí)時(shí)PV/UV統(tǒng)計(jì)
音樂排行榜統(tǒng)計(jì)
了解這么多這些只是適合哪些人群呢？
3、適合人群
掌握Hadoop及HDFS原理和使用
掌握Hive、HBase、Sqoop、Flume工具
掌握SparkCore,SparkSQL,SparkStreaming原理及代碼編寫
掌握azkaban原理及使用
掌握Kafka原理及使用
掌握redis原理及使用
綜上所述，我們片面的了解了一下數(shù)據(jù)倉(cāng)庫(kù)理論及其項(xiàng)目，想要深入了解及學(xué)習(xí)可以點(diǎn)擊視頻學(xué)習(xí)哦~
