xiaoshan (@podman) 在 Kakfa 消息积压问题 中发帖
blcs 性能问题:
一个同步mysql数据到es中系统,通过监听binlong,发送Kafka消息,消费者记录变化,然后同步es中
问题就出现在这个Kafka这,有个批处理会执行一段时间,期间会更新较多表数据,需要同步到es中,因为短时间内,生产者速率大于消费者速率了,导致消息积压,然后es中数据滞后了,导致了一些依赖es业务展示出问题了
Kafka配置:三个分区,三个消费者
如何优化这个短时间内大量消息消费问题:
1、增加分区,增加消费者
2、因为批处理不是每天执行,考虑成本问题,可能分区都加不了,还有没有其他方案,降低延迟到秒级别