java - Spark SQL - 从另一个配置单元表错误将数据插入配置单元表

Question

我想使用 Spark SQL 将数据从另一个 hive 表插入到 hive 表中。我遇到了以下错误。

我的代码:

SparkConf conf = new SparkConf().setAppName("GetHiveTableData");
JavaSparkContext sc = new JavaSparkContext(conf);
JavaHiveContext hiveCtx = new JavaHiveContext(sc);

JavaSchemaRDD rdd = hiveCtx.sql("INSERT INTO TABLE table1 ( aggregation_date, subnetwork,last_5_max) select to_date(now()), subnetwork, max(last_5_minute_cpu_utilization_kpi)  from table2 where to_date(dataset_date)= to_date(now()) GROUP BY subnetwork");

错误信息:

        Caused by: org.apache.hadoop.hive.ql.parse.ParseException: line 1:83 cannot recognize input near '(' 'aggregation_date' ',' in select clause
        at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:202)
        at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:166)
        at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:161)

Answer 1

您没有使用有效的配置单元语法。你需要做的

insert into table table1 select ..

hive 用途:

• CTAS(创建表作为选择)

• 在路径中加载数据(本地)

用于创建数据。