Java & Spark : add unique incremental id to dataset

Question

使用 Spark 和 Java，我试图向现有的具有 n 列的数据集 [行] 添加一个整数标识列。

我使用 zipWithUniqueId() 或 zipWithIndex 成功添加了一个 id，甚至使用了 monotonically_increasing_id()。但没有一个能令人满意。

示例:我有一个包含 195 行的数据集。当我使用这三种方法中的一种时，我得到一些像 1584156487 或 12036 这样的 ID。另外，这些 ID 不是连续的。

我需要/想要的非常简单:一个 Integer id 列，其值从 1 到 dataset.count() foreach 行，其中 id = 1 后跟 id = 2，等等。

我如何在 Java/Spark 中做到这一点？

Answer 1

你可以尝试使用row_number功能:

在Java中:

import org.apache.spark.sql.functions;
import org.apache.spark.sql.expressions.Window;

df.withColumn("id", functions.row_number().over(Window.orderBy("a column")));

或者在 Scala 中:

import org.apache.spark.sql.expressions.Window;
df.withColumn("id",row_number().over(Window.orderBy("a column")))