java - 无法从Kafka获取数据到分布式表

Question

我需要将数据从 Kafka 队列(用我的脚本填充)获取到 ClickHouse (CH) 集群中的每个副本。

我创建了:

1. 每个副本上的“队列”表(Kafka 引擎)；
2. 每个副本上的“消费者”物化 View (从“队列”获取数据到分布式表)；
3. “数据”分布式表；

当我将数据放入 Kafka 时，我非常确定表接受数据(简单的 select count(*) from data)，但我总是得到这个:

"Progress: 1.55 thousand rows, 1.24 MB (297.46 rows/s., 237.18 KB/s.) Received exception from server (version 18.14.17): Code: 159. DB::Exception: Received from host:port. DB::Exception: Failed to claim consumer: . 0 rows in set. Elapsed: 5.313 sec. Processed 1.55 thousand rows, 1.24 MB (291.94 rows/s., 232.78 KB/s.)"

当我停止填充 Kafka 时，我有一个很短的时间窗口可以完成我的查询。但几秒钟后我收到 - 我创建的每个表的计数为 0。

Answer 1

问题在我这边:物化 View “消费者”中的列无效。顺便说一句，如果有人需要执行相同的任务，这里有数据图:

1. 在集群中的所有主机上创建“本地”表；
2. 在集群中的所有主机上创建分布式表；
3. 在一台主机上创建Kafka引擎表“队列”+物化 View “消费者”