python - 如何使用python在spark SQL中传递变量？

Question

我正在用 python 编写 spark 代码。如何在 spark.sql 查询中传递变量？

    q25 = 500
    Q1 = spark.sql("SELECT col1 from table where col2>500 limit $q25 , 1")

目前上面的代码不起作用？我们如何传递变量？

我也试过，

    Q1 = spark.sql("SELECT col1 from table where col2>500 limit q25='{}' , 1".format(q25))

Answer 1

您需要像这样在字符串格式中删除单引号和 q25:

Q1 = spark.sql("SELECT col1 from table where col2>500 limit {}, 1".format(q25))

更新:

基于您的新查询:

spark.sql("SELECT col1 from table where col2>500 order by col1 desc limit {}, 1".format(q25))

请注意，SparkSQL 不支持 OFFSET，因此无法进行查询。

如果你需要添加多个变量，你可以试试这样:

q25 = 500
var2 = 50
Q1 = spark.sql("SELECT col1 from table where col2>{0} limit {1}".format(var2,q25))