gpt4 book ai didi

java - 我们如何在 Spark 官方项目中运行 Kafka 示例?

转载 作者:太空宇宙 更新时间:2023-11-04 10:25:07 25 4
gpt4 key购买 nike

我尝试在 Spark 项目中运行简单的 Kafka 示例。

spark 正确构建,因此我可以运行大多数示例,除了这个 Kafka 示例。

当我运行以下命令时:

bin/run-example streaming.JavaDirectKafkaWordCount localhost:9092 test

我收到以下错误:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka010/LocationStrategies

知道如何正确运行 Kafka 示例吗?

(Kafka 客户端在端口 9092 上运行。使用最新的 Spark 和 Kafka 以及 Java 8)

最佳答案

在我的项目中,终于将Kafka和Spark正确连接起来了。我意识到,在 Spark 脚本中使用 local 模式在开发过程中非常有用。更容易调试和练习。

您可以在这里找到详细的、docker化的实现:https://github.com/zoltan-nz/kafka-spark-project

相关说明:https://github.com/zoltan-nz/kafka-spark-project/blob/master/SparkStreamer/README.md#experiment-06---using-local

关于java - 我们如何在 Spark 官方项目中运行 Kafka 示例?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50637266/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com