Java Spark 将 HIVE View 重制为 INSERT

Question

我有以下从 HDFS 读取 JSON 文件并使用 Spark 将其输出为 HIVE View 的 Java 代码。

package org.apache.spark.examples.sql.hive;
import java.io.File;
import java.io.Serializable;
import java.util.ArrayList;
import java.util.List;
import org.apache.spark.api.java.function.MapFunction;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Encoders;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
// $example off:spark_hive$
public class JavaSparkHiveExample {
  public static void main(String[] args) {

    // $example on:spark_hive$
    SparkSession spark = SparkSession
      .builder()
      .appName("Java Spark Hive Example")
            .master("local[*]")
            .config("hive.metastore.uris", "thrift://localhost:9083")
      .enableHiveSupport()
      .getOrCreate();

    Dataset<Row> jsonTest = spark.read().json("/tmp/testJSON.json");
    jsonTest.createOrReplaceTempView("jsonTest");
    Dataset<Row> showAll = spark.sql("SELECT * FROM jsonTest");

    showAll.show();
    spark.stop();
  }
}

为了将 JSON 插入表 test1(例如)，我很难将 View 重新制作为 INSERT 语句。

非常感谢您的帮助!

Answer 1

如果你想保存到一个Hive表中，你可以这样做

showAll.write().saveAsTable("tableName") 

如果要读取本地文件给执行器，使用file://作为文件路径的前缀。注意，Spark是一个分布式进程，所以所有的executor都需要能够读取同一个位置的文件，这就是为什么HDFS通常和Spark一起使用