系統(tǒng)架構(gòu)

依據(jù)上面的分析與我們要實(shí)現(xiàn)的功能，我們將依賴Hive和Druid建立我們的數(shù)據(jù)倉(cāng)庫(kù)，使用Kafka進(jìn)行數(shù)據(jù)的接入，使用Flink作為我們的流處理引擎，對(duì)于標(biāo)簽的元數(shù)據(jù)管理我們還是依賴Mysql作為把標(biāo)簽的管理，并使用Airflow作為我們的調(diào)度任務(wù)框架，并最終將結(jié)果輸出到Mysql和Hbase中。對(duì)于標(biāo)簽的前端管理，可視化等功能依賴Springboot+Vue.js搭建的前后端分離系統(tǒng)進(jìn)行展示，而Hive和Druid的可視化查詢功能，我們也就使用強(qiáng)大的Superset整合進(jìn)我們的系統(tǒng)中，最終系統(tǒng)的架構(gòu)圖設(shè)計(jì)如下：