java - Spark Master连接失败: Reason is: [Disassociated]

Question

我正在尝试从 Eclipse Rich Platform 应用程序连接到本地计算机上的 Spark 集群，以创建 Spark Streaming Context。从 Spark shell 进行连接可以完美地工作，但是当我尝试运行我正在处理的类中的代码时，结果是:

 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://host:7077] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

显然，该主机与我在 Spark Shell 中使用的主机相同。

这是我尝试连接到 Spark 的代码块。

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

JavaSparkContext sc = new JavaSparkContext(conf);
JavaStreamingContext ssc = new JavaStreamingContext(sc,Durations.seconds(3));
ssc.awaitTermination();

它重试几次然后终止。

Answer 1

可能存在版本问题，您的 Spark 服务器可能是 1.3，而您的 pom 文件中有 1.4 的依赖项(如果使用 maven 或有 1.4 的 jar 文件，请在代码中交叉引用它)

SparkConf conf = new SparkConf().setAppName("SparkNode")
        .setMaster("spark://host:7077").set("spark.akka.heartbeat.interval", "100");

spark://主机:7077该主机应该是主机名