java - NoClassDefFound错误: kafka/serializer/StringDecoder after exporting jar

Question

我已经导出了同一个 Kafka/Spark Streaming 项目中两个应用程序的两个 jar。带有 Kafka Producer 的 jar 工作正常。 Spark Consumer 的 jar 返回此错误:

NoClassDefFoundError: kafka/serializer/StringDecoder

它们共享相同的依赖项文件夹，我显然已导出该文件夹，以便使这些 jar 在 Eclipse 之外工作。

在 Eclipse 中它们都工作得很好。

我该如何解决这个问题？

Answer 1

您在类路径中需要 Kafka 本身，而不仅仅是 Spark-streaming-kafka。在 Eclipse 中您可以这样做，因为您的构建系统会检索所有依赖项，并且 Eclipse 会与其集成。

I looked into the jar of spark-streaming-kafka and it contains the .class file that is named in the error: org.apache.spark.streaming.kafka.KafkaUtils$.createStream(Ka‌​fkaUtils.scala:55). So I can't understand why he misses this class.

大概你的意思是包含org.apache.spark.streaming.kafka.KafkaUtils$，但是当JVM尝试加载它时，它发现它需要其他类，包括kafka。 serializer.StringDecoder，它不存在。