sql - SPARK : failure: `` union '' expected but ` (' found

Question

我有一个名为df的数据框，其列名为employee_id。我在做:

 df.registerTempTable("d_f")
val query = """SELECT *, ROW_NUMBER() OVER (ORDER BY employee_id) row_number FROM d_f"""
val result = Spark.getSqlContext().sql(query)

但是得到以下问题。有什么帮助吗？

[1.29] failure: ``union'' expected but `(' found
SELECT *, ROW_NUMBER() OVER (ORDER BY employee_id) row_number FROM d_f
                            ^
java.lang.RuntimeException: [1.29] failure: ``union'' expected but `(' found
SELECT *, ROW_NUMBER() OVER (ORDER BY employee_id) row_number FROM d_f

Answer 1

Spark 2.0+

Spark 2.0引入了窗口函数(SPARK-8641)的本地实现，因此不再需要HiveContext。尽管如此，与窗口函数无关的类似错误仍然可以归因于SQL解析器之间的差异。

Spark <= 1.6

窗口功能已在Spark 1.4.0中引入，需要 HiveContext 才能起作用。 SQLContext 在这里不起作用。

确保使用Spark> = 1.4.0并创建HiveContext:

import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)