kafka 消费异常消息后后面的消息都处理不了了吗?

问答 ⋅ 许宁 ⋅ 于 2019-03-29 10:08:30 ⋅ 最后回复由青牛于 2019-03-29 17:48:43 ⋅ 5717 阅读

1.kafka其中一条消息异常，导致后面无法消费，这种情况怎么处理，可否像其他消息一样乱序重试，已查阅kafka无重试队列这个概念。

2.kafka消息丢失是怎么回事，acks设置为-1还会有消息丢失吗，问题点在哪里？

3.既要有大吞吐量，又要可靠性，这种情况用哪个消息队列合适？

成为第一个点赞的人吧

回复数量: 1

青牛国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
⋅ 2019-03-29 17:48:43

1、comsumer 非正常的rebalancing（重新分配分区）才会导致无法消费，如果不出现rebalancing，消息是不会重复消费或无法消费的。
2、当leader crash的时候，follower还没有同步到任何数据，而且这个follower被选举为新的leader的话，这样消息就会丢失。
3、kafka就是很好的选择啊，很多大公司这种场景都有kafka

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter