生產(chǎn)運(yùn)維：如何對(duì)RocketMQ集群進(jìn)行可視化的監(jiān)控和管理？

1、小猛在壓測(cè)前突然有一個(gè)困惑

現(xiàn)在RocketMQ集群如何部署都已經(jīng)知道了，小猛原計(jì)劃就應(yīng)該要開始著手優(yōu)化生產(chǎn)機(jī)器上的os內(nèi)核參數(shù)和RocketMQ的jvm參數(shù)了，這些參數(shù)優(yōu)化好了，才能正式在高配置機(jī)器上啟動(dòng)RocketMQ，讓他把性能發(fā)揮到最高，接著壓測(cè)才有意義。

但是小猛在做這些事兒之前突然產(chǎn)生了一個(gè)困惑，他在想一個(gè)事，如果RocketMQ集群參數(shù)正式優(yōu)化好了然后啟動(dòng)了集群，接著用幾臺(tái)機(jī)器跑生產(chǎn)者和消費(fèi)者去壓測(cè)，那么壓測(cè)完了到底要看什么呢？

他想了想，覺得既然是壓測(cè)，那么必然是要看RocketMQ集群能承載的最高QPS，同時(shí)在承載這個(gè)QPS的同時(shí)，各個(gè)機(jī)器的CPU、IO、磁盤、網(wǎng)絡(luò)、內(nèi)存的負(fù)載情況，要看機(jī)器資源的使用率，還要看JVM的GC情況，等等。

但是現(xiàn)在有一個(gè)問題來了，到底怎么看這些東西呢？

小猛突然發(fā)現(xiàn)自己在壓測(cè)之前還少了一個(gè)步驟，那就是應(yīng)該研究一下RocketMQ集群的監(jiān)控、管理和運(yùn)維

比如有什么辦法可以看到RocketMQ集群的一些性能指標(biāo)，有什么辦法可以對(duì)RocketMQ進(jìn)行一些運(yùn)維操作，比如說在集群里加入一臺(tái)Broker之類的。

好吧，看來自己還有點(diǎn)操之過急了。

小猛趕緊去找了明哥，跟他說了這個(gè)情況，跟明哥多申請(qǐng)了一點(diǎn)時(shí)間去讓他研究RocketMQ集群的監(jiān)控和運(yùn)維管理。

2、RocketMQ的大優(yōu)勢(shì)：可視化的管理界面

其實(shí)大家可以思考一個(gè)問題，整個(gè)RocketMQ集群的元數(shù)據(jù)都集中在了NameServer里，包括有多少Broker，有哪些Topic，有哪些Producer，有哪些Consumer，目前集群里有多少消息，等等。

所以如果我們能想辦法跑到NameServer里去，自然就可以知道很多東西

但是那不行，因?yàn)镹ameServer并沒有對(duì)我們打開一扇門讓我們進(jìn)去知道這些東西。

但是RocketMQ里既然有大量的信息可以讓我們進(jìn)行監(jiān)控和查看，他自然會(huì)提供一些辦法來讓我們看到，這就是他最大的優(yōu)勢(shì)之一，一個(gè)可視化的管理界面。

我們可以隨便找一臺(tái)機(jī)器，用NameServer的三臺(tái)機(jī)器中的任意一臺(tái)機(jī)器就可以，在里面執(zhí)行如下命令拉取RocketMQ運(yùn)維工作臺(tái)的源碼：

git clone https://github.com/apache/rocketmq-externals.git

然后進(jìn)入rocketmq-console的目錄：

cd rocketmq-externals/rocketmq-console

執(zhí)行以下命令對(duì)rocketmq-cosole進(jìn)行打包，把他做成一個(gè)jar包：

mvn package -DskipTests

然后進(jìn)入target目錄下，可以看到一個(gè)jar包，接著執(zhí)行下面的命令啟動(dòng)工作臺(tái)：

java -jar rocketmq-console-ng-1.0.1.jar --server.port=8080 --rocketmq.config.namesrvAddr=127.0.0.1:9876

這里務(wù)必要在啟動(dòng)的時(shí)候設(shè)置好NameServer的地址，如果有多個(gè)地址可以用分號(hào)隔開，接著就會(huì)看到工作臺(tái)啟動(dòng)了，然后就通過瀏覽器訪問那臺(tái)機(jī)器的8080端口就可以了，就可以看到精美的工作臺(tái)界面。

3、如何通過工作臺(tái)進(jìn)行集群監(jiān)控

這個(gè)可視化的工作臺(tái)可以說是非常強(qiáng)大的，他幾乎滿足了我們大部分對(duì)RocketMQ集群監(jiān)控的需求，我們一步一步看看他都有哪些功能。

首先剛進(jìn)入界面，會(huì)看到類似下面的東西：

? ? ? ? ? ?

? ? ? ? ? ? ?

這個(gè)時(shí)候大家可能有點(diǎn)懵，其實(shí)看看右上角有一個(gè)按鈕是“ChangeLanguage”，可以支持切換語言的，大家就切換成簡(jiǎn)體中文就行了。

在這個(gè)界面里可以讓你看到Broker的大體消息負(fù)載，還有各個(gè)Topic的消息負(fù)載，另外還可以選擇日期要看哪一天的監(jiān)控?cái)?shù)據(jù)，都可以看到。

接著大家點(diǎn)擊上邊導(dǎo)航欄里的“集群”，就會(huì)進(jìn)入集群的一個(gè)監(jiān)控界面。

? ? ? ? ? ?

? ? ? ? ? ??

在這個(gè)圖里可以看到非常有用的一些信息，你可以看到各個(gè)Broker的分組，哪些是Master，哪些是Slave，他們各自的機(jī)器地址和端口號(hào)，還有版本號(hào)

包括最重要的，就是他們每臺(tái)機(jī)器的生產(chǎn)消息TPS和消費(fèi)消息TPS，還有消息總數(shù)。

這是非常重要的，通過這個(gè)TPS統(tǒng)計(jì)，就是每秒寫入或者被消費(fèi)的消息數(shù)量，就可以看出RocketMQ集群的TPS和并發(fā)訪問量。

另外在界面右側(cè)有兩個(gè)按鈕，一個(gè)是“狀態(tài)”，一個(gè)是“配置”。其中點(diǎn)擊狀態(tài)可以看到這個(gè)Broker更加細(xì)節(jié)和具體的一些統(tǒng)計(jì)項(xiàng)，點(diǎn)擊配置可以看到這個(gè)Broker具體的一些配置參數(shù)的值。

點(diǎn)擊上邊導(dǎo)航欄的“主題”，可以看到下面的界面，通過這個(gè)界面就可以對(duì)Topic進(jìn)行管理了，比如你可以在這里創(chuàng)建、刪除和管理Topic，查看Topic的一些裝填、配置，等等，可以對(duì)Topic做各種管理。

? ? ? ? ? ?

? ? ? ? ? ??

接著點(diǎn)擊上邊導(dǎo)航欄里的“消費(fèi)者”和“生產(chǎn)者”，就可以看到訪問MQ集群的消費(fèi)者和生產(chǎn)者了，還可以做對(duì)應(yīng)的一些管理。

? ? ? ? ? ?

? ? ? ? ? ?

?? ? ? ?

? ? ? ? ? ??

接著點(diǎn)擊導(dǎo)航欄里的“消息”和“消息軌跡”，又可以對(duì)消息進(jìn)行查詢和管理。

? ? ? ? ? ?

? ? ? ? ? ??

? ??? ? ?

? ? ? ? ? ??

大體上這個(gè)工作臺(tái)的監(jiān)控和管理功能就是這些了，所以大家可以在這里看到，我們這個(gè)工作臺(tái)，就可以對(duì)集群整體的消息數(shù)量以及消息TPS，還有各個(gè)Broker的消息數(shù)量和消息TPS進(jìn)行監(jiān)控。

同時(shí)我們還可以對(duì)Broker、Topic、消費(fèi)者、生產(chǎn)者、消息這些東西進(jìn)行對(duì)應(yīng)的查詢和管理，非常的便捷。

4、機(jī)器本身的監(jiān)控應(yīng)該如何做？

這里小猛又想到了一個(gè)問題：現(xiàn)在有了這個(gè)東西，我們是可以在壓測(cè)的時(shí)候看到整個(gè)RocketMQ的TPS了，也就是Transaction Per Second，就是每秒事務(wù)的意思，在這里就是每秒消息數(shù)量的意思。

但是我們要同時(shí)看到集群每臺(tái)機(jī)器的CPU、IO、磁盤、內(nèi)存、JVM GC的負(fù)載和情況怎么辦呢？

其實(shí)這些東西都有很好的監(jiān)控系統(tǒng)可以去看了，比如說Zabbix、Open-Falcon等等，一般公司都會(huì)用這些東西來監(jiān)控機(jī)器的性能和資源使用率。

如果沒有這些東西的話，也沒關(guān)系，在壓測(cè)的時(shí)候完全可以登錄到各個(gè)Broker機(jī)器上去，直接用linux命令行的一些命令來檢查這些東西的資源使用率，其實(shí)都是可以看到的，包括JVM GC的情況，都是可以通過命令行工具來查看的。

End

專欄版權(quán)歸公眾號(hào)儒猿技術(shù)窩所有

未經(jīng)許可不得傳播，如有侵權(quán)將追究法律責(zé)任