Kafka弹性 - 集团协调员[英] Kafka Resiliency - Group Coordinator

问题描述

作为我理解,其中一个经纪人被选为负责消费者重新平衡的集团协调员.

Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group

我有3个节点,复制因子为3和3个分区. 一切都很棒,当我在非协调节点上杀死Kafka时,消费者仍在接收消息.

但是当我用协调器杀死特定节点时,重新平衡不会发生,我的Java消费者应用程序没有收到任何消息.

2018-05-29 16:34:22.668 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:22.689 INFO  AbstractCoordinator:600 - Marking the coordinator host:9092 (id: 2147483646 rack: null) dead for group good_group
2018-05-29 16:34:22.801 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:22.832 INFO  AbstractCoordinator:600 - Marking the coordinator host:9092 (id: 2147483646 rack: null) dead for group good_group
2018-05-29 16:34:22.933 INFO  AbstractCoordinator:555 - Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_group.
2018-05-29 16:34:23.044 WARN  ConsumerCoordinator:535 - Auto offset commit failed for group good_group: Offset commit failed with a retriable exception. You should retry committing offsets. 

是我做错了什么,有没有办法?

推荐答案

但是当我用协调器杀死特定节点时,重新平衡不会发生,我的Java消费者应用程序没有收到任何消息.

本集团协调员从消费者组中的所有消费者接收心跳.它维护有效的消费者列表,并在此列表的更改时启动重新平衡.然后,集团负责人执行重新平衡活动.

这就是为什么重新平衡如果杀死组协调员,则会停止.

更新

在组协调器代理关闭的情况下,将通知zookeeper,选举开始自动从主动经纪人推广新的组协调员.与小组协调员无关.让我们看看日志:

2018-05-29 16:34:23.044 WARN  ConsumerCoordinator:535 - Auto offset commit failed for group good_group: Offset commit failed with a retriable exception. You should retry committing offsets.

内部主题的复制因子 __ fooder_offset 可能有默认值1.可以检查 default.replication.factor 和 offsets.topic的值. Replication.factor 位于服务器.properties文件中.如果默认值为1,则应更改为更大的值.未能这样做,群组协调器关闭导致偏移管理器无需备份即可停止.因此无法完成提交偏移的活动.

本文地址:https://www.itbaoku.cn/post/978325.html