藝人直播-Flink實(shí)時(shí)數(shù)倉(cāng)
藝人直播-Flink實(shí)時(shí)數(shù)倉(cāng)
網(wǎng)盤(pán)地址:https://pan.baidu.com/s/1V80nUnkV_rPhUqN0pYSFAA 提取碼:wkwm
網(wǎng)盤(pán)地址:https://pan.baidu.com/s/18fZTGeoCWn16iO1I5NxABA 提取碼: bivd
?
給大家分享一套大數(shù)據(jù)課程——藝人直播-Flink實(shí)時(shí)數(shù)倉(cāng),附課程代碼+文檔。
?
基于“藝人直播平臺(tái)”業(yè)務(wù)背景的flink實(shí)時(shí)數(shù)據(jù)分析(實(shí)時(shí)數(shù)倉(cāng))項(xiàng)目,基于主流的實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)技術(shù)架構(gòu)實(shí)現(xiàn),內(nèi)含各類(lèi)直播平臺(tái)實(shí)時(shí)數(shù)據(jù)分析需求場(chǎng)景,各種flink技能點(diǎn)實(shí)戰(zhàn)(含源碼級(jí)修改),是鞏固flink技能,快速獲取flink實(shí)戰(zhàn)熟練度不可多得的課程!
?
分析需求:
統(tǒng)計(jì),總共開(kāi)了多少個(gè)團(tuán),團(tuán)的成團(tuán)率、開(kāi)團(tuán)熱門(mén)分類(lèi)、團(tuán)購(gòu)訂單數(shù)量、成交的金額、成交的分類(lèi)金額、成交的區(qū)域金額。
1.實(shí)時(shí)拼團(tuán)數(shù)量(維度:拼圖的狀態(tài)、商品分類(lèi)[關(guān)聯(lián)商品表獲取分類(lèi)ID])
拼團(tuán)中的(狀態(tài)),手機(jī)分類(lèi)(商品分類(lèi)),2(數(shù)量)
?
2.實(shí)時(shí)拼團(tuán)的金額(維度:拼圖的狀態(tài)、商品分類(lèi)[關(guān)聯(lián)商品表獲取分類(lèi)ID])
拼團(tuán)明細(xì)表?Left?Join?訂單主表?Left?Join?拼團(tuán)主表
?
案例:多流進(jìn)行關(guān)聯(lián)(Join)
?
比如三個(gè)流進(jìn)行Join(拼團(tuán)明細(xì)表?Left?Join?訂單主表?Left?Join?拼團(tuán)主表)
Flink窗口的Join、CoGroup不支持多個(gè)流在一個(gè)窗口內(nèi)進(jìn)行Join、CoGroup
?
解決方案一:
將兩個(gè)流進(jìn)行Join、CoGroup,將的得到Join后的流再查數(shù)據(jù)庫(kù)關(guān)聯(lián)信息(異步IO,要查數(shù)據(jù)庫(kù),效率較低)
?
解決方案二:
將兩個(gè)流進(jìn)行Join、CoGroup,將的得到Join后的流在跟第三流進(jìn)行JOIN(有兩個(gè)窗口,在窗口中進(jìn)行Join,數(shù)據(jù)是放在WindowState中,效率高一些)
?
?
簡(jiǎn)化后的數(shù)據(jù):
拼團(tuán)主表:主表ID,拼團(tuán)狀態(tài),分類(lèi)ID
拼團(tuán)明細(xì)表:細(xì)表ID,拼團(tuán)主表ID,?訂單ID
訂單主表:訂單ID、訂單總金額
?
join后的結(jié)果
拼團(tuán)主表ID,訂單主表ID,訂單總金額,拼團(tuán)狀態(tài),分類(lèi)ID、(省份)
?