構(gòu)建實時數(shù)倉實踐
隨著數(shù)據(jù)的應(yīng)用場景越來越豐富,企業(yè)對數(shù)據(jù)價值反饋到業(yè)務(wù)中的時效性要求也越來越高,很早就有人提出過一個概念:
數(shù)據(jù)的價值在于數(shù)據(jù)的在線化。實時計算起源于對數(shù)據(jù)加工時效性的嚴苛需求:數(shù)據(jù)的業(yè)務(wù)價值隨著時間的流逝會迅速降低,因此在數(shù)據(jù)產(chǎn)生后必須盡快對其進行計算和處理,從而最大效率實現(xiàn)數(shù)據(jù)價值轉(zhuǎn)化,對實時數(shù)倉的建設(shè)需求自然而然的誕生了。而建設(shè)好實時數(shù)倉需要解決如下幾個問題:
一、穩(wěn)定性:實時數(shù)倉對數(shù)據(jù)的實時處理必須是可靠的、穩(wěn)定的;
二、高效數(shù)據(jù)集成:流式數(shù)據(jù)的集成必須方便高效,要求能進行高并發(fā)、大數(shù)據(jù)量的寫入;
三、極致性能要求:實時數(shù)倉不能僅限于簡單查詢,需要支持復(fù)雜計算能力,且計算結(jié)果可秒級返回;
四、靈活查詢:需要具備自助分析的能力,為業(yè)務(wù)分析提供靈活的、自助式的匯總和明細查詢服務(wù);
五、彈性擴縮:需要具備良好的擴展性, 必須架構(gòu)統(tǒng)一具備擴展性,可為 IT 建設(shè)提供靈活性。
?
針對以上問題,火山引擎不斷在業(yè)務(wù)中摸索,總結(jié)了基于 ByteHouse 建設(shè)實時數(shù)倉的經(jīng)驗。
標簽: