多易 億級在線實時動態(tài)規(guī)則運營系統(tǒng)(v1架構(gòu))
2023-02-19 15:15 作者:bili_1534047163 | 我要投稿
磁盤數(shù)量
至少3個磁盤
log_dirs=/data1,/data2,/data3
磁盤類型
SSD 是固態(tài)硬盤,比機械硬盤要快, SSD的快主要是磁盤隨機讀寫,比較貴
kafka是順序?qū)?,機械硬盤順序?qū)懙男阅鼙葍?nèi)存隨機讀寫的性能要快,所以kafka集群使用機械硬盤也能滿足
內(nèi)存角度
kafka自身的jvm是用不了過多堆內(nèi)存,kafka的零拷貝機制,kafka 的快速的主要原因是利用了內(nèi)核緩沖區(qū)的OScache,這樣設計是規(guī)避掉用jvm對象來保存數(shù)據(jù),很多數(shù)據(jù)結(jié)構(gòu)并不在jvm內(nèi)部使用,而是在OSCache內(nèi)部,所以kafka jvm配置5G 就夠了
標簽: