java - 在没有 "run-example"脚本的情况下运行 Spark Kafka wordcount.java 示例

Question

我正在尝试在 Spark 中运行字数统计示例，它将从 Kafka 流式传输数据。 Source Code Here .但是，我发现 Cloudera Spark 发行版与孵化器发行版有点不同。我可以毫无问题地运行 spark shell 并从那里运行字数统计示例。但是，示例源代码中指示的 bin 文件夹中没有“运行示例”脚本。

* Example:
 *    `./bin/run-example org.apache.spark.streaming.examples.JavaKafkaWordCount local[2]     zoo01,zoo02,
 *    zoo03 my-consumer-group topic1,topic2 1`

我对 jar 相当陌生，但我知道，要在命令行中运行 java 程序，您需要打包所有依赖项和代码，编译并放入一个 jar 文件中。然后将 jar 文件作为一个整体运行，我猜这就是“run-example”代码的作用。

谁能告诉我如何在没有运行示例脚本的情况下运行 KafkaWordCount.java 示例？

类似question在这里，但我不想每次都在 spark-shell 中运行 java 代码。

非常感谢。

哈多普:我有一个由 Cloudera Manager 管理的 Cloudera Hadoop Distribution(CDH 4.6.0-1.cdh4.6.0.p0.26)，

Spark :我已经下载了 (SPARK 0.9.0-1.cdh4.6.0.p0.50) 包裹并分发并激活了这项服务。

卡夫卡:kafka-0.8.0，我已经下载了源码并从源码中构建。

Answer 1

我会有 JavaKafkaWordCount.java built using Maven ，打包成Jar文件，use spark-submit运行它。