apache-kafka - Kafka 连接，Cassandra 接收器 : How to specify the partition and clustering keys?

Question

我经历了Cassandra Sink doc但我不知道如何指定分区和集群键。

医生是这样说的:

You can configure this connector to manage the schema on the Cassandra cluster. When altering an existing table the key is ignored. This is to avoid the potential issues around changing a primary key on an existing table. The key schema is used to generate a primary key for the table when it is created.

如果它是一个新表，连接器将使用 Key 模式(我假设来自 KStream)来创建主键。这对于分区键可能没问题，但对于集群键则不然。

那么我们是否必须在运行流应用程序之前使用正确的键创建所有表，或者有没有办法进行调整？

Answer 1

Confluent 的连接器要求主键中的所有列都应该在主题的键中(如果我没记错的话，就像结构体一样)。这是它的限制之一，因为它可能与您的应用程序输出不匹配。在这种情况下，您需要转换主题以符合此要求。

我建议使用 DataStax's Kafka Connector 而不是 Confluent 的连接器它经过精心设计，可将数据有效加载到 Cassandra/DSE 中。它具有以下功能(更多信息是 in the following blog post ):

将来自一个主题的数据存储到一个或多个 Cassandra 表中(以支持数据非规范化)；

topic中的数据到Cassandra列的映射是由配置文件定义的，所以你可以取消息的任意一段key或者value，映射到列中；

通过在可能的情况下使用未记录的批次和轻量级来非常有效；

支持Cassandra/DSE的不同安全特性；

从 DSE 4.8 开始，连接器可免费用于 DSE，从 2.1 开始可用于 Cassandra。