gpt4 book ai didi

apache-spark - 如何将多个语句传递到 Spark SQL HiveContext

转载 作者:行者123 更新时间:2023-12-04 14:56:29 27 4
gpt4 key购买 nike

例如,我想传递给 Spark SQL 的 Hive HQL 语句很少:

set parquet.compression=SNAPPY;
create table MY_TABLE stored as parquet as select * from ANOTHER_TABLE;
select * from MY_TABLE limit 5;

以下不起作用:

hiveContext.sql("set parquet.compression=SNAPPY; create table MY_TABLE stored as parquet as select * from ANOTHER_TABLE; select * from MY_TABLE limit 5;")

如何将语句传递到 Spark SQL 中?

最佳答案

我在一个场景中工作,我需要读取一个 sql 文件并运行所有的;该文件中存在分离的查询。

一种简单的方法是这样的:

val hsc = new org.apache.spark.sql.hive.HiveContext(sc)
val sql_file = "/hdfs/path/to/file.sql"
val file = sc.wholeTextFiles(s"$sql_file")
val queries = f.take(1)(0)._2
Predef.refArrayOps(queries.split(';')).map(query => hsc.sql(query))

关于apache-spark - 如何将多个语句传递到 Spark SQL HiveContext,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36938399/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com