amazon-s3 - 如何使用其字段和基于时间的分区为 json 配置 kafka s3 接收器连接器？

Question

我有一个像这样的 json:

{
    "app" : "hw",
    "content" : "hello world",
    "time" : "2018-05-06 12:53:04"
}

我希望以下列文件格式推送到 S3:

/上层目录/$jsonfield1/$jsonfield2/$date/$HH

我知道我可以实现:

/上层目录/$date/$HH

使用 TimeBasedPartitioner 和 Topic.dir，但我如何也放入 2 个 json 字段？

Answer 1

需要自己写Partitioner来实现TimeBased和Field Partitioner的结合

这意味着创建一个新的 Java 项目，look at the source code for a reference point ，从项目中构建一个 JAR，然后将该 jar 复制到运行 Kafka Connect 的所有服务器上的 kafka-connect-storage-common 中，它由 S3 连接器获取。复制 JAR 后，您需要重新启动连接进程。

注意:已经有一个 PR 试图添加这个 - https://github.com/confluentinc/kafka-connect-storage-common/pull/73/files