java - Hadoop log4j 找不到 KafkaLog4JAppender.class

Question

我在我的 MR 工作中添加了 KafkaLog4JAppender 功能。
本地作业正在运行并将格式化的日志发送到我的 Kafka 集群。

当我尝试从 yarn 服务器运行它时，使用:

jar [jar-name].jar [DriverClass].class [job-params] -Dlog4j.configuration=log4j.xml -libjars

我得到以下异常:

log4j:ERROR Could not create an Appender. Reported error follows.
java.lang.ClassNotFoundException: kafka.producer.KafkaLog4jAppender

KafkaLog4JAppender 类在路径中。
运行

jar tvf [my-jar].jar | grep KafkaLog4J

找到类(class)

我有点迷路了，如果有任何有用的意见，我将不胜感激

提前致谢!

Answer 1

如果它在本地模式下工作而不在 Yarn/分布式模式下工作，那么可能是 jar 没有正确分发的问题。您可能想查看 Using third part jars and files in your MapReduce application(Distributed cache)有关如何分发包含 KafkaLog4jAppender.class 的 jar 的详细信息