jar - 运行 pyspark kafka steam 出错

Question

当我尝试运行 spark-steaming 的示例代码时:“kafka_wordcount.py” 文件夹下:/usr/local/spark/examples/src/main/python/streaming

代码明确描述了执行代码的指令为:

"$ bin/spark-submit --jars\
外部/kafka-assembly/target/scala-*/spark-streaming-kafka-assembly-*.jar\
示例/src/main/python/streaming/kafka_wordcount.py\
localhost:2181 测试

test 是主题名称。但是我找不到 jar 和路径:

“外部/kafka-assembly/target/scala-/spark-streaming-kafka-assembly-.jar”

因此，我创建了一个文件夹“streaming/jar/”并将所有 jar 从 网址http://search.maven.org/#search%7Cga%7C1%7Ca%3A%22spark-streaming-kafka-assembly_2.10%22然后当我跑的时候

“park-submit --jars ~/stream-example/jars/spark-streaming-kafka-assembly_*.jar kafka_wordcount.py localhost:2181 主题”

显示

“错误:JAR 中未设置主类；请使用 --class 指定一个使用 --help 运行以获得使用帮助或使用 --verbose 获得调试输出"

这有什么问题？ jar 在哪里？

非常感谢!!

Answer 1

很久以前就有人问过这个问题，所以我想你现在已经明白了。但是，由于我遇到了同样的问题，我将发布对我有用的解决方案。

本指南的部署部分 (http://spark.apache.org/docs/latest/streaming-kafka-integration.html) 说您可以使用 --packages 参数传递 lib，如下所示:

bin/spark-submit\
--packages org.apache.spark:spark-streaming-kafka_2.10:1.6.2\
示例/src/main/python/streaming/kafka_wordcount.py\
localhost:2181 测试

您也可以在这里下载 jar 本身:http://search.maven.org/#search%7Cga%7C1%7Ca%3A%22spark-streaming-kafka-assembly_2.10%22

注意:我没有运行上面的命令，我用另一个例子测试过，但它应该以同样的方式工作:

bin/spark-提交
--packages org.apache.spark:spark-streaming-kafka_2.10:1.6.2\
示例/src/main/python/streaming/direct_kafka_wordcount.py\
localhost:9092 测试