sql - 如何将 .sql 文件加载到 Scala？

Question

我有一个很长的 SQL 查询存储在 data.sql 文件中。我想在我的 Scala 代码中执行这个文件。
使用 sqlQuery 字符串，我使用 spark.sql(sqlQuery) 来执行 sql。但是对于 .sql 文件，我应该如何执行它？

非常感谢!

Answer 1

你可以试试这个流程( Spark 1.6.2, Scala 2.10.5 )

使用查询 创建一个文件

$ cat query.sql
select * from mydb.mytable

如果您有 HDFS ，您可以上传文件到 HDFS (在 /hdfs/path/query.sql 说)
如果您在本地拥有它，请说它在 /local/path/query.sql
在 Spark shell 中运行

$ spark-shell
:
:
Created sql context (with Hive support)..
SQL context available as sqlContext.

(如果从本地加载)

scala> val myQueryFile = sc.textFile("file:///local/path/query.sql")

(如果从 HDFS 加载)

scala> val myQueryFile = sc.textFile("/hdfs/path/query.sql")

执行并查看结果

scala> val myQuery = myQueryFile.take(1)
scala> val myResultDf = sqlContext.sql(myQuery(0))
scala> myResultDf.show