java - 连接 Spark 本地集群时出错

Question

我正在尝试在我的本地 mac 中运行以下代码，其中正在运行具有主从的 spark 集群

  public void run(String inputFilePath) {

    String master = "spark://192.168.1.199:7077";

    SparkConf conf = new SparkConf()
        .setAppName(WordCountTask.class.getName())
        .setMaster(master);
    JavaSparkContext context = new JavaSparkContext(conf);


    context.textFile(inputFilePath)
        .flatMap(text -> Arrays.asList(text.split(" ")).iterator())
        .mapToPair(word -> new Tuple2<>(word, 1))
        .reduceByKey((a, b) -> a + b)
        .foreach(result -> LOGGER.info(
            String.format("Word [%s] count [%d].", result._1(), result._2)));
  }
}

但是我在主控制台和

中都遇到了以下异常

Error while invoking RpcHandler#receive() on RPC id 5655526795459682754 java.io.EOFException

在程序控制台中

18/07/01 22:35:19 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.1.199:7077 org.apache.spark.SparkException: Exception thrown in awaitResult

当我按照 this example 中的规定将 master 设置为“local[*]”时运行良好.

我见过使用 spark-submit 命令提交 jar 的示例，但我试图以编程方式运行它。

Answer 1

刚刚发现Spark的版本在master/slave和代码的POM文件中是不一样的。提高了 pom.xml 中的版本以匹配 spark 集群并且成功了。