linux - spark standalone 没有 hdfs

Question

我一直在 spark standalone 上尝试一个简单的 wordcount 应用程序。我有 1 台 Windows 机器和 1 台 Linux 机器，Windows 运行 Master & slaveLinux 运行从机。

连接快速简单。我尽量避免使用 hdfs，但我确实想在集群上工作。到目前为止我的代码是:

    String fileName = "full path at client";
    File file = new File(fileName);
    Path filePath = new Path(file);
    String uri= filePath.toURI().toString();
    SparkConf conf = new sparkConf().setAppName("stam").setMaster("spark://192.168.15.17:7077").setJars(new String[] { ..,.. });
    sc = new JavaSparkContext(conf);
    sc.addFile(uri);
    JavaRDD<String> textFile = sc.textFile(SparkFiles.get(getOnlyFileName(fileName))).cache();

这失败了

Input path does not exist:........ or java.net.URISyntaxException: Relative path in absolute URI

取决于我的尝试，错误来自 linux slave

知道这是否可能吗？该文件正在复制到所有从属工作目录。请帮忙

Answer 1

这是不可能的。我已经从 standalone 转移到 yarn