scala - 动态构建 Spark SQL 查询

Question

我们如何在 Scala 中使用 Spark 将列名和运算符名动态传递给 SQL 查询？

我尝试了(未成功)以下操作:

spark.sql("set key_tbl=mytable")
spark.sql("select count(1) from ${key_tbl}").collect()

Answer 1

您可以将其作为参数传递，如下所示

val param = "tableName" 
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
sqlContext.sql(s"""SELECT * FROM param=$param""")

可以查看此链接了解更多详情
https://forums.databricks.com/questions/115/how-do-i-pass-parameters-to-my-sql-statements.html