問題

在系統(tǒng)日志中（/var/log/messages），有時(shí)會(huì)看到大面積的下面的報(bào)錯(cuò)：

nf_conntrack: table full, dropping packet

這說明系統(tǒng)接到了大量的連接請(qǐng)求，但是系統(tǒng)的連接跟蹤表已經(jīng)滿了，無法再記錄新的連接了。這時(shí)候，系統(tǒng)會(huì)丟棄新的連接請(qǐng)求。

在 CentOS 下，默認(rèn)的連接跟蹤表大小是 65536，可以通過下面的命令查看：

cat /proc/sys/net/netfilter/nf_conntrack_max

如果流量比較小，這個(gè)值是沒問題的，但如果流量巨大，這個(gè)值可能就有點(diǎn)太小了。

解決方法

顯然，調(diào)大最大值的限制就可以了。不過更大的限制意味著可以承接更多連接，意味著要耗費(fèi)更多資源，這點(diǎn)要注意。

查看當(dāng)前有多少活躍連接：

cat /proc/sys/net/netfilter/nf_conntrack_count

如果這個(gè)值跟上面介紹的 nf_conntrack_max 已經(jīng)很接近了，就說明快滿了，需要調(diào)大 nf_conntrack_max?？梢允褂孟旅娴拿钆R時(shí)調(diào)大：

echo 524288 > /proc/sys/net/netfilter/nf_conntrack_max

如果不想每次重啟都要重新設(shè)置，可以修改 /etc/sysctl.conf，加入下面的配置：

net.netfilter.nf_conntrack_max = 524288

為了緩解大量連接的問題，您可能還需要考慮減少服務(wù)器等待連接關(guān)閉/超時(shí)的時(shí)間。在 /etc/sysctl.conf 中加入下面的配置：

net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60 net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 60 net.netfilter.nf_conntrack_tcp_timeout_time_wait = 60

如何監(jiān)控

平時(shí)使用 categraf(https://github.com/flashcatcloud/categraf) 監(jiān)控就可以了，categraf 提供了 input.conntrack 采集插件，可以采集 conntrack 的信息，建議采集配置如下：

conf/input.conntrack/conntrack.toml:

完事配置一個(gè)類似下面的監(jiān)控規(guī)則即可：

conntrack_ip_conntrack_count / ip_conntrack_max > 0.8

另一個(gè)監(jiān)控方案，是直接監(jiān)控系統(tǒng)日志，算是一個(gè)兜底監(jiān)控方案，可以采用 catpaw 來監(jiān)控，catpaw 提供了 journaltail 采集插件，可以讀取近期系統(tǒng)日志，grep 關(guān)鍵字，如果出現(xiàn)異常關(guān)鍵字就告警，配置如下：

conf.d/p.journaltail/journaltail.toml:

catpaw 的入門使用，可以參考文章：《太卷了，史上最簡(jiǎn)單的監(jiān)控系統(tǒng) catpaw 簡(jiǎn)介》