java - 如何使用 Java API 将文本文件、图像存储到 Apache Spark 中？

Question

我是 Apache Spark 新手。我使用的是 Windows 操作系统，spark 安装在远程 Linux 操作系统中。是否可以使用 Java API 在 Spark 配置中添加 IP 地址和端口？请分享spark java示例。

提前致谢。

Answer 1

如果您只是想尝试一下 Spark，我建议您从应用程序中启动本地 Spark。这是一个 java 示例(旧的 1.6 语法):

public static void trySparkTestClass() throws IOException {
    SparkConf conf = new SparkConf()
            .setMaster("local[*]")
            .setAppName("TestSparkSample");

    JavaSparkContext jsc = new JavaSparkContext(conf);
    HiveContext sqlContext = new HiveContext(jsc);
    DataFrame myJson = sqlContext.read().json("myJson");
    jsc.stop();
}