2023-07-10：Kafka如何做到消息不丟失？

答案2023-07-10：

Kafka采用多種機(jī)制來確保消息的不丟失，其中包括副本機(jī)制、ISR（In-Sync Replicas）機(jī)制以及ACK機(jī)制等。

1.副本機(jī)制

Kafka通過副本機(jī)制來確保消息不會丟失。在Kafka中，每個分區(qū)都可以配置多個副本，每個副本保存分區(qū)的完整拷貝。當(dāng)一個副本宕機(jī)時，Kafka會自動將其切換到其他可用副本上。因此，即使某個副本宕機(jī)，仍然能夠保證消息不會丟失。

2.ISR 機(jī)制

在Kafka中，副本分為Leader副本和Follower副本。Leader副本負(fù)責(zé)處理消息，而Follower副本則簡單地復(fù)制Leader副本的數(shù)據(jù)。當(dāng)Follower副本與Leader副本之間出現(xiàn)落后時，Kafka會將Follower副本從ISR（In-Sync Replicas）中移除。只有當(dāng)Follower副本與Leader副本之間的差距不大時，才會將Follower副本重新加入ISR，以確保消息不丟失。

3.ACK 機(jī)制

在Kafka中，生產(chǎn)者發(fā)送消息時可以通過設(shè)置acks參數(shù)來決定確認(rèn)的級別。acks參數(shù)有三個選項：

• ??acks=0表示生產(chǎn)者不等待消息的確認(rèn)，直接發(fā)送消息到Kafka集群。這種方式可能會導(dǎo)致消息丟失，不建議使用。

• ??acks=1表示生產(chǎn)者在消息被Leader副本確認(rèn)接收后，視為消息發(fā)送成功。如果Leader副本在發(fā)送消息后立即發(fā)生故障，消息可能會丟失。如果Follower副本成功復(fù)制了消息，但Leader副本在故障前未能將消息寫入磁盤，那么這條消息將會丟失。

• ??acks=all表示生產(chǎn)者在所有ISR副本都確認(rèn)接收到消息后，才將消息視為發(fā)送成功。這種方式可以最大程度地確保消息不會丟失，但會降低消息發(fā)送的性能。

通過合理配置acks參數(shù)，我們可以在消息可靠性和性能之間進(jìn)行權(quán)衡，以確保Kafka中的消息不會丟失。