eclipse - Spark 在客户端机器上提交

Question

我在本地系统的 Eclipse 中运行 Spark Twitter 情感分析代码。服务器中的所有 hadoop 和 spark 集群设置。是否可以在集群设置不是他们的本地系统中运行？

如果是，请指导我如何操作。在运行时我给出的论点是

> --class com.dhruv.Predict \
> --master spark://<spark cluster ip>:7077 \
> --num-executors 2 \
> --executor-memory 512m \
> --executor-cores 2 \ target/twittersentiment-0.0.1-jar-with-dependencies.jar \
> hdfs://tmp/tweets/dataset.csv trainedModel \
> --consumerKey  \
> --consumerSecret  \
> --accessToken  \
> --accessTokenSecret

但是它不起作用。请指导我

Answer 1

如评论中所述:

文件必须是全局可见的，所以它应该在每台机器或分布式文件系统中的相同路径中，例如在 HDFS 中

将您的 JAR 复制到每台机器或 HDFS