音樂數(shù)據(jù)中心數(shù)倉綜合項(xiàng)目

1.項(xiàng)目介紹

音樂數(shù)據(jù)中心項(xiàng)目是大型企業(yè)級綜合數(shù)倉項(xiàng)目，此項(xiàng)目針對音樂數(shù)據(jù)進(jìn)行分析，構(gòu)建數(shù)據(jù)倉庫，建立用戶、機(jī)器、內(nèi)容等主題進(jìn)行數(shù)據(jù)分析，涉及數(shù)倉建模理論基礎(chǔ)、數(shù)倉建模規(guī)則、數(shù)倉建模命名設(shè)計規(guī)范、數(shù)倉分層設(shè)計、數(shù)倉數(shù)據(jù)采集、數(shù)據(jù)ETL、數(shù)據(jù)質(zhì)量檢驗(yàn)、各主題業(yè)務(wù)處理流程設(shè)計、實(shí)時數(shù)據(jù)處理、任務(wù)流調(diào)度、數(shù)據(jù)可視化等實(shí)際企業(yè)級大數(shù)據(jù)數(shù)據(jù)中心建設(shè)使用到的方法論及實(shí)際技術(shù)使用流程。

2.技術(shù)選型

音樂數(shù)據(jù)中心主要使用技術(shù)如下：CDH、flume、sqoop、HDFS、Spark、SparkSQL、Hive、Hbase、Zookeeper、kafka、mysql、redis、yarn、superset、Azkaban等

3.項(xiàng)目核心功能模塊

音樂數(shù)據(jù)中心數(shù)倉項(xiàng)目主要分析業(yè)務(wù)如下：

1)針對業(yè)務(wù)數(shù)倉建模分層設(shè)計

2)關(guān)系型數(shù)據(jù)庫批量、實(shí)時采集到數(shù)據(jù)中心

3)SpringBoot日志采集接口采集日志數(shù)據(jù)到數(shù)據(jù)中心

4)歌曲、歌手熱度分析

5)機(jī)器分布分析

6)機(jī)器位置信息統(tǒng)計分析

7)活躍、留存用戶分析

8)用戶機(jī)器營收分析

9)商戶營收數(shù)據(jù)分析

10)地域營收分析

11)實(shí)時熱歌榜單分析

12)實(shí)時PV/UV統(tǒng)計

13)音樂排行榜統(tǒng)計

4、適合人群

1)掌握Hadoop及HDFS原理和使用

2)掌握Hive、HBase、Sqoop、Flume工具

3)掌握SparkCore,SparkSQL,SparkStreaming原理及代碼編寫

4)掌握azkaban原理及使用

5)掌握Kafka原理及使用

6)掌握redis原理及使用

5、課程章節(jié)

第一章 數(shù)據(jù)倉庫建模理論及模型設(shè)計

01_數(shù)據(jù)倉庫建模理論_數(shù)據(jù)庫及數(shù)據(jù)庫三范式設(shè)計

02_數(shù)據(jù)倉庫建模理論_ER實(shí)體關(guān)系模型設(shè)計

03_數(shù)據(jù)倉庫建模理論_ER實(shí)體關(guān)系模型設(shè)計案例分析

04_數(shù)據(jù)倉庫建模理論_數(shù)據(jù)倉庫產(chǎn)生原因及數(shù)據(jù)倉庫概念

05_數(shù)據(jù)倉庫建模理論_數(shù)據(jù)倉庫發(fā)展過程

06_數(shù)據(jù)倉庫建模理論_維度建模事實(shí)表及維度表

07_數(shù)據(jù)倉庫建模理論_維度建模數(shù)據(jù)分析模型分類

08_數(shù)據(jù)倉庫建模理論_維度建模案例分析

09_數(shù)據(jù)倉庫建模理論_數(shù)據(jù)倉庫分層設(shè)計及每層設(shè)計思想

10_數(shù)據(jù)倉庫建模理論_數(shù)據(jù)倉庫分層案例分析

11_數(shù)據(jù)倉庫建模理論_數(shù)據(jù)庫與數(shù)據(jù)倉庫區(qū)別

第二章 歌曲熱度與歌手熱度排行

01_音樂數(shù)據(jù)中心項(xiàng)目_項(xiàng)目介紹

02_音樂數(shù)據(jù)中心項(xiàng)目_項(xiàng)目技術(shù)架構(gòu)設(shè)計

03_音樂數(shù)據(jù)中心項(xiàng)目_項(xiàng)目集群配置、項(xiàng)目人數(shù)及項(xiàng)目開發(fā)周期

04_音樂數(shù)據(jù)中心項(xiàng)目_項(xiàng)目數(shù)據(jù)倉庫分層設(shè)計、主題設(shè)計、命名規(guī)范

05_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_需求

06_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_需求分析 01

07_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_需求分析 02

08_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_表模型設(shè)計

09_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_數(shù)據(jù)倉庫分層及數(shù)據(jù)流轉(zhuǎn)處理流程

10_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_項(xiàng)目結(jié)構(gòu)介紹

11_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_客戶端歌曲播放日志數(shù)據(jù)處理 01

12_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_客戶端歌曲播放日志數(shù)據(jù)處理 02

13_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_客戶端歌曲播放日志數(shù)據(jù)處理 03

14_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_Sqoop 安裝及準(zhǔn)備jar包

15_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_將歌庫歌曲表通過Sqoop導(dǎo)入ODS層

16_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_SparkSQL 使用補(bǔ)充

17_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_ETL獲取EDS層歌曲基本信息日全量表 01

18_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_ETL獲取EDS層歌曲基本信息日全量表 02

19_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_ETL獲取EDS層歌曲特征日統(tǒng)計表 01

20_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_ETL獲取EDS層歌曲特征日統(tǒng)計表 02

21_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_微信指數(shù)公式及歌曲歌手熱度計算公式

22_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_歌曲熱度統(tǒng)計 01

23_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_歌曲熱度統(tǒng)計 02

24_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_歌手熱度統(tǒng)計 01

25_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_歌手熱度統(tǒng)計 02

26_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_Azkaban任務(wù)流調(diào)度環(huán)境準(zhǔn)備

27_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_Azkaban任務(wù)流腳本準(zhǔn)備 01

28_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_Azkaban任務(wù)流腳本準(zhǔn)備 02

29_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_Azkaban任務(wù)流配置及任務(wù)流調(diào)度任務(wù)

30_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_Azkaban任務(wù)調(diào)度結(jié)果查看及SuperSet介紹

31_音樂數(shù)據(jù)中心項(xiàng)目_Superset BI可視化_Superset基于Linux安裝

32_音樂數(shù)據(jù)中心項(xiàng)目_Superset BI可視化_Superset界面介紹及導(dǎo)入數(shù)據(jù)源及表

33_音樂數(shù)據(jù)中心項(xiàng)目_Superset BI可視化_Superset 圖表制作

34_音樂數(shù)據(jù)中心項(xiàng)目_Superset BI可視化_Superset 柱狀圖制作

35_音樂數(shù)據(jù)中心項(xiàng)目_Superset BI可視化_Superset 餅圖及自定義頁面制作

36_音樂數(shù)據(jù)中心項(xiàng)目_Superset BI可視化_Superset 折線圖制作

37_音樂數(shù)據(jù)中心項(xiàng)目_歌曲熱度及歌手熱度_結(jié)果使用Superset 可視化展示

第三章 機(jī)器詳細(xì)信息統(tǒng)計及日活躍用戶統(tǒng)計

01_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_需求及數(shù)據(jù)來源

02_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_需求分析

03_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_數(shù)倉分層ODS層設(shè)計

04_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_數(shù)倉分層EDS層及DM層設(shè)計

05_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_Sqoop導(dǎo)入mysql數(shù)據(jù)到ODS層 01

06_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_Sqoop導(dǎo)入mysql數(shù)據(jù)到ODS層 02

07_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_EDS層數(shù)據(jù)ETL 01

08_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_EDS層數(shù)據(jù)ETL 02

09_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_EDS層數(shù)據(jù)ETL 03

10_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_Azkaban任務(wù)流自動調(diào)度 01

11_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_Azkaban任務(wù)流自動調(diào)度 02

12_音樂數(shù)據(jù)中心項(xiàng)目_機(jī)器詳細(xì)信息統(tǒng)計_報表使用Superset可視化展示

13_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__需求及數(shù)據(jù)來源

14_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__需求分析

15_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__數(shù)據(jù)倉庫ODS、EDS、DM分層設(shè)計

16_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__Sqoop導(dǎo)入mysql數(shù)據(jù)到ODS層 01

17_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__Sqoop導(dǎo)入mysql數(shù)據(jù)到ODS層 02

18_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__業(yè)務(wù)處理數(shù)據(jù)分析

19_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__EDS層數(shù)據(jù)ETL 01

20_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__EDS層數(shù)據(jù)ETL 02

21_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__Azkaban任務(wù)流自動調(diào)度 01

22_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__Azkaban任務(wù)流自動調(diào)度 02

23_音樂數(shù)據(jù)中心項(xiàng)目_用戶畫像7日活躍用戶分析__Superset可視化展示數(shù)據(jù)

第四章 商戶及地區(qū)營收統(tǒng)計

01_音樂數(shù)據(jù)中心項(xiàng)目_商戶、地區(qū)營收統(tǒng)計__商戶營收統(tǒng)計與地區(qū)營收統(tǒng)計需求

02_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__商戶營收統(tǒng)計需求分析 01

03_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__商戶營收統(tǒng)計需求分析 02

04_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__商戶營收統(tǒng)計數(shù)倉分層設(shè)計 01

05_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__商戶營收統(tǒng)計數(shù)倉分層設(shè)計 02

06_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__用戶上報機(jī)器位置信息數(shù)據(jù)增量導(dǎo)入ODS層

07_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__用戶上報機(jī)器位置信息業(yè)務(wù)分析 01

08_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__用戶上報機(jī)器位置信息業(yè)務(wù)分析之高德api使用 02

09_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__用戶上報機(jī)器位置信息業(yè)務(wù)分析之高德api使用 03

10_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__用戶上報機(jī)器位置信息業(yè)務(wù) ETL 數(shù)據(jù)清洗獲取EDS層數(shù)據(jù) 01

11_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__用戶上報機(jī)器位置信息業(yè)務(wù) ETL 數(shù)據(jù)清洗獲取EDS層數(shù)據(jù) 02

12_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__機(jī)器消費(fèi)訂單明細(xì)數(shù)據(jù)增量導(dǎo)入ODS層

13_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__機(jī)器消費(fèi)訂單明細(xì)數(shù)據(jù)業(yè)務(wù) ETL 數(shù)據(jù)清洗獲取EDS層數(shù)據(jù)

14_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__機(jī)器日營收情況統(tǒng)計表業(yè)務(wù)分析 01

15_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__機(jī)器日營收情況統(tǒng)計表業(yè)務(wù)分析 02

16_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__機(jī)器日營收情況統(tǒng)計表 ETL 數(shù)據(jù)分析得到EDS層數(shù)據(jù)

17_音樂數(shù)據(jù)中心項(xiàng)目_商戶營收統(tǒng)計__機(jī)器日營收情況統(tǒng)計表 ETL 數(shù)據(jù)分析得到DM層結(jié)果數(shù)據(jù)

18_音樂數(shù)據(jù)中心項(xiàng)目_地區(qū)營收統(tǒng)計__地區(qū)營收統(tǒng)計業(yè)務(wù)需求

19_音樂數(shù)據(jù)中心項(xiàng)目_地區(qū)營收統(tǒng)計__地區(qū)營收統(tǒng)計獲取DM層數(shù)據(jù)

20_音樂數(shù)據(jù)中心項(xiàng)目_商戶、地區(qū)營收統(tǒng)計__Azkaban任務(wù)調(diào)度環(huán)境準(zhǔn)備

21_音樂數(shù)據(jù)中心項(xiàng)目_商戶、地區(qū)營收統(tǒng)計__Azkaban任務(wù)調(diào)度編寫及執(zhí)行 01

22_音樂數(shù)據(jù)中心項(xiàng)目_商戶、地區(qū)營收統(tǒng)計__Azkaban任務(wù)調(diào)度編寫及執(zhí)行 02

23_音樂數(shù)據(jù)中心項(xiàng)目_商戶、地區(qū)營收統(tǒng)計__使用Superset數(shù)據(jù)可視化展示結(jié)果

第五章 實(shí)時業(yè)務(wù)統(tǒng)計

01_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_流式業(yè)務(wù)介紹

02_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_日志采集接口設(shè)計Controller

03_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_日志采集接口設(shè)計Service

04_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_日志采集接口設(shè)計 Log日志目錄配置

05_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_日志采集接口設(shè)計 Log日志采集測試

06_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_日志采集接口部署到Linux中及Flume搭建配置

07_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_使用Flume采集接口日志到Kafka

08_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_實(shí)時統(tǒng)計pv&uv業(yè)務(wù)分析

09_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_實(shí)時統(tǒng)計pv&uv業(yè)務(wù)代碼

10_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_實(shí)時統(tǒng)計pv&uv數(shù)據(jù)執(zhí)行及結(jié)果查看

11_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_實(shí)時統(tǒng)計歌曲點(diǎn)播熱榜業(yè)務(wù)分析

12_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_實(shí)時統(tǒng)計歌曲點(diǎn)播熱榜業(yè)務(wù)數(shù)據(jù)準(zhǔn)備

13_音樂數(shù)據(jù)中心項(xiàng)目_流式業(yè)務(wù)處理_實(shí)時統(tǒng)計歌曲點(diǎn)播熱榜業(yè)務(wù)代碼及數(shù)據(jù)結(jié)果查看

第六章 Spark優(yōu)化

01_Spark優(yōu)化_資源優(yōu)化設(shè)置

02_Spark優(yōu)化_并行度設(shè)置

03_Spark優(yōu)化_自定義分區(qū)器設(shè)置

04_Spark優(yōu)化_代碼優(yōu)化 01

05_Spark優(yōu)化_代碼優(yōu)化 02

06_Spark優(yōu)化_代碼優(yōu)化 03

07_Spark優(yōu)化_代碼優(yōu)化 04

08_Spark優(yōu)化_SparkShuffle優(yōu)化及Spark內(nèi)存優(yōu)化

09_Spark優(yōu)化_Spark堆外內(nèi)存優(yōu)化

10_Spark優(yōu)化_Spark數(shù)據(jù)傾斜

11_Spark優(yōu)化_第一類方式解決Spark數(shù)據(jù)傾斜

12_Spark優(yōu)化_第二類方式解決Spark數(shù)據(jù)傾斜

13_Spark優(yōu)化_第三類方式解決Spark數(shù)據(jù)傾斜 01

14_Spark優(yōu)化_第三類方式解決Spark數(shù)據(jù)傾斜案例分析

15_Spark優(yōu)化_第三類方式解決Spark數(shù)據(jù)傾斜 02

全套課程大綱私信小編獲取