konglquan 在 求助 clickhouse 大佬 中发帖
clickhouse使用kafka引擎,再通过视图入到本地表
入数据的过程中,kafka出现堆积(2000w)这个时候clickhouse本地表有1000w,
这个时候kafka里面有数据,clickhou也不去拉数据,半天才回拉一次,一次拉几百万这种
观察cpu占用只有在拉数据的时候clickhouse才能占满cpu(1000%),不拉的时候很低就想在歇着一样(20%)
这种怎么解决,是要改什么配置吗?
kafka引擎配置
kafka_num_consumers = 10, --消费者数量
kafka_commit_every_batch = 1, – 0全部写入后再提交 1同步提交
kafka_skip_broken_messages = 65409, – 避免因坏数据阻塞消费
kafka_thread_per_consumer = 1;-- 每个消费者的处理线程
...