java - 如何累积运行 Spark sql 聚合器？

Question

我目前正在开发一个包含 Spark 数据集(Java 语言)的项目，在该项目中，我必须创建一个新列，该新列源自对所有先前行运行的累加器。

我一直在使用自定义 UserDefinedAggregationFunction 来实现此功能从 unboundedPreceding 的 window 上方至currentRow .

事情是这样的:

df.withColumn("newColumn", customAccumulator
    .apply(columnInputSeq)
    .over(customWindowSpec));

但是，出于类型安全原因和通常更干净的代码，我真的更喜欢使用类型化数据集。即:使用 org.apache.spark.sql.expressions.Aggregator 执行相同的操作超过Dataset<CustomType> 。这里的问题是我已经浏览了所有文档，但无法弄清楚如何使其以与上面相同的方式运行(即我只能获得整个列的最终聚合，而不是每行的累积状态) .

我想要做的事情可能吗？如果可能的话，如何做？

为清楚起见添加示例:

初始表:

+-------+------+------+
| Index | Col1 | Col2 |
+-------+------+------+
|     1 | abc  | def  |
|     2 | ghi  | jkl  |
|     3 | mno  | pqr  |
|     4 | stu  | vwx  |
+-------+------+------+

然后使用示例聚合操作:首先反转累加器，在 Col1 前面附加 Col2 并返回该值，并将其设置为累加器。

+-------+------+------+--------------------------+
| Index | Col1 | Col2 |       Accumulator        |
+-------+------+------+--------------------------+
|     1 | abc  | def  | abcdef                   |
|     2 | ghi  | jkl  | ghifedcbajkl             |
|     3 | mno  | pqr  | mnolkjabcdefihgpqr       |
|     4 | stu  | vwx  | sturpqghifedcbajklonmvwx |
+-------+------+------+--------------------------+

使用 UserDefinedAggregateFunction我已经能够制作这个，但带有 Aggregator我只能得到最后一行。

Answer 1

你不

我的消息来源是一位 friend ，他一直在研究与此相同的问题，现在得出的结论是这是不可能的