scala - Spark-submit Sql Context Create语句不起作用

Question

我的以下代码不适用于 Spark-submit。

sqlContext.sql(s"""
create external table if not exists landing (
date string,
referrer string)
partitioned by (partnerid string,dt string)
row format delimited fields terminated by '\t' lines terminated by '\n'
STORED AS TEXTFILE LOCATION 's3n://....'
      """)

它给出错误:线程“main”中的异常 java.lang.RuntimeException:[1.2] 失败:预期为“with”，但找到了标识符创建

此代码在 Spark-shell 中有效，但在 Spark-submit 中无效。可能是什么原因？

Answer 1

spark-shell 中的“sqlContext”默认为“HiveContext”。也许您需要在脚本中新建 HiveContext 而不是 sqlContext。

你可以像这样新建它:

import SparkContext._
import org.apache.spark.sql.hive._ 
val sc = new SparkContext()
val sqlContext = new HiveContext(sc)