apache-kafka - 如何在 Kafka Connect Runtime 中获取任务详细信息(ID 和连接器)

Question

我正在尝试创建自定义连接器，并且想要在任务运行时中记录任务详细信息(连接器和任务 ID)。在任务启动和轮询方法中，我想记录任务编号和连接器名称。有什么方法可以获取提供任务详细信息(连接器和任务 ID)的程序运行时上下文。

请注意，连接器可能有多个并行运行的任务(tasks.max 配置)，因此我想将特定消息与创建它的特定任务关联起来。

Answer 1

映射诊断上下文 (MDC) 日志记录已添加到 Apache Kafka 2.3，您可以通过设置记录此信息:

log4j.appender.stdout.layout.ConversionPattern=[%d] %p %X{connector.context}%m (%c:%L)%n

这会给你这样的日志:

INFO [sink-elastic-orders-00|task-0] Using multi thread/connection supporting pooling connection manager (io.searchbox.client.JestClientFactory:223)
INFO [sink-elastic-orders-00|task-0] Using default GSON instance (io.searchbox.client.JestClientFactory:69)

引用:https://www.confluent.io/blog/kafka-connect-improvements-in-apache-kafka-2-3