java - 将日志从 kafka 连接器推送到端口

Question

从自定义 kafka 连接接收器连接器，有没有办法将所有日志推送到端口，或者我们需要编写自定义日志附加程序来处理相同的问题？

我想将任务分为两步(以防无法直接实现):

1) 将所有kafka connect分布式日志写入本地目录下的日志文件2)从日志文件中发布端口上的日志

那么，有没有办法写入所有kafka连接日志(启动和连接建立消息)以及应用程序/业务逻辑的日志？

Answer 1

Kafka Connect 使用Log4J ，因此您想要的任何具有日志记录的接口(interface)都可以通过它来实现。看起来您已经 previously realised that :)

使用SocketAppender使用 Kafka Connect 就足够简单了。

下面是一个示例配置，当我将其添加到我的 etc/kafka/connect-log4j.properties 时，该配置即可工作:

log4j.rootLogger=INFO, server
log4j.appender.server=org.apache.log4j.net.SocketAppender
log4j.appender.server.Port=4512
log4j.appender.server.RemoteHost=localhost
log4j.appender.server.ReconnectionDelay=10000

然后当我启动连接时:

$ ./bin/connect-distributed ./etc/kafka/connect-distributed.properties

并在单独的 session 中使用 netcat 我看到:

$ nc -l -k 4512
��sr!org.apache.log4j.spi.LoggingEvent��#t�?
ZmdcCopyLookupRequiredZndcLookupRequiredJ       timeStampLcategoryNametLjava/lang/String;LlocationInfot#Lorg/apache/log4j/spi/LocationInfo;LmdcCopytLjava/util/Hashtable;Lndcq~LrenderedMessageq~L
throwableInfot+Lorg/apache/log4j/spi/ThrowableInformation;xp^�'�t@org.apache.kafka.connect.runtime.isolation.DelegatingClassLoaderpppt<Registered loader: sun.misc.Launcher$AppClassLoader@764c12b6tmainpwN pxysr!org.apache.log4j.spi.LoggingEvent��#t�?
ZmdcCopyLookupRequiredZndcLookupRequiredJ       timeStampLcategoryNametLjava/lang/String;LlocationInfot#Lorg/apache/log4j/spi/LocationInfo;LmdcCopytLjava/util/Hashtable;Lndcq~LrenderedMessageq~L
throwableInfot+Lorg/apache/log4j/spi/ThrowableInformation;xp^�'�'t@org.apache.kafka.connect.runtime.isolation.DelegatingClassLoaderppptDAdded plugin 'org.apache.kafka.connect.file.FileStreamSinkConnector'tmainpwN pxysr!org.apache.log4j.spi.LoggingEvent��#t�?
ZmdcCopyLookupRequiredZndcLookupRequiredJ       timeStampLcategoryNametLjava/lang/String;LlocationInfot#Lorg/apache/log4j/spi/LocationInfo;LmdcCopytLjava/util/Hashtable;Lndcq~LrenderedMessageq~L

然后您需要运行 log4j logstash plugin解码这个。

<小时/>

您可能想阅读有关 sending Log4J to Logstash 的说明;答案是使用 Filebeat。