如何缓解 Kafka 集群在有大量 topic 时性能快速劣化的问题？

问答 ⋅ 空军一号 ⋅ 于 2019-04-03 14:21:52 ⋅ 最后回复由青牛于 2019-04-04 15:43:45 ⋅ 5987 阅读

线上观测到topic多了就会造成磁盘文件过多退化为随机写和节点负载不均衡. 不涉及技术机密的情况下, 各位能分享下都是怎么缓解乃至解决的吗?

成为第一个点赞的人吧

回复数量: 1

青牛国内首批大数据从业者，就职于金山，担任大数据团队核心研发工程师
⋅ 2019-04-04 15:43:45
1. 消费组组员，最多增加到和partition数量一致，超过的组员只会占用资源，而不起作用。
2. kafka的partition的个数一定要大于消费组组员的个数，并且partition的个数对于消费组组员取模一定要为0，不然有些消费者会占用资源却不起作用。
  3.如果需要增加消费组的组员个数，那么也需要根据上面的算法，调整partition的个数。
  4、换更快的磁盘 ssd

请注意单词拼写，以及中英文排版，参考此页
支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
支持表情，可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif，教程
发布框支持本地存储功能，会在内容变更时保存，「提交」按钮点击时清空

Ctrl+Enter