python - 为什么在 352 之后添加一个单调递增的 id 中断的新 id 列

Question

我正在使用 pyspark 2.2.0。添加一个新的增量值列。我使用了以下代码:

new_df = df.withColumn('Id', monotonically_increasing_id())

但是它在第 352 行之后像这样中断:

有什么办法可以解决这个问题吗？

Answer 1

根据 mic4ael 的回答，生成的 ID 只能保证是单调递增和唯一的，但不是连续的。您可以使用 row_number 生成连续且单调递增的 ID，但是，这种方法不能很好地扩展，对于较大的数据集应避免使用。例如，以此作为输入数据:

from pyspark.sql.window import Window
from pyspark.sql.functions import col,row_number
df = spark.createDataFrame([('33004', ''),('33004', ''),('33010', 'Muxia'), ('33020','Fuensanta'),('33020','Fuensanta')], ("Zip", "PostalRegion"))

您可以使用以下方法添加顺序 ID 列:

from pyspark.sql.window import Window
w = Window().orderBy("PostalRegion")
df = df.select(row_number().over(w).alias("ID"), col("*"))
df.show()

这给出了输出:

+---+-----+------------+
| ID|  Zip|PostalRegion|
+---+-----+------------+
|  1|33004|            |
|  2|33004|            |
|  3|33020|   Fuensanta|
|  4|33020|   Fuensanta|
|  5|33010|       Muxia|
+---+-----+------------+