java - Spark 与 HiveContext - AnalysisException : Could not resolve window function 'first_value'

Question

first 的这种用法有什么问题？我想获取数据框中每个 id 的第一行，但它返回一个错误:

Exception in thread "main" org.apache.spark.sql.AnalysisException: Could not resolve window function 'first_value'. Note that, using window functions currently requires a HiveContext;

代码是:

WindowSpec window = Window.partitionBy(df.col("id"));
df= df.select(first(df.col("*")).over(window));

我正在使用 HiveContext。

Answer 1

您是否使用 SparkContext 或 HiveContext 读取/创建了 Spark 数据帧？窗口函数需要使用 HiveContext

更多详细信息请参见此处: Window function is not working on Pyspark sqlcontext