大數(shù)據(jù)教程 | 從0到1的完美落地之Flume優(yōu)化
2023-07-11 16:49 作者:無(wú)力取鬧的小浣熊 | 我要投稿
Flume的自動(dòng)容災(zāi)和負(fù)載均衡
說(shuō)明
flume的自動(dòng)容災(zāi)指的是當(dāng)某一個(gè)channel或者sink擋掉后,由其他的sink來(lái)接收數(shù)據(jù)
flume的負(fù)載均衡指的是多個(gè)channel處理的event的數(shù)量盡可能的相同。
自動(dòng)容災(zāi)
1)上游方案的編寫
2)下游的qianfeng02上的方案
3)下游的qianfeng03上的方案
4)啟動(dòng)
5)測(cè)試
負(fù)載均衡
負(fù)載均衡Sink 選擇器提供了在多個(gè)sink上進(jìn)行負(fù)載均衡流量的功能。 它維護(hù)一個(gè)活動(dòng)sink列表的索引來(lái)實(shí)現(xiàn)負(fù)載的分配。 默認(rèn)支持了輪詢(round_robin)和隨機(jī)(random)兩種選擇機(jī)制分配負(fù)載。 默認(rèn)是輪詢,可以通過(guò)配置來(lái)更改。
==注意==:
標(biāo)簽: