python - 将列的不同计数添加到 PySpark 中的每一行

Question

我需要为 PySpark 数据框中的每一行添加不同的列数。

例子:如果原始数据框是这样的:

+----+----+
|col1|col2|
+----+----+
|abc |   1|
|xyz |   1|
|dgc |   2|
|ydh |   3|
|ujd |   1|
|ujx |   3|
+----+----+

然后我想要这样的东西:

+----+----+----+
|col1|col2|col3|
+----+----+----+
|abc |   1|   3|
|xyz |   1|   3|
|dgc |   2|   3|
|ydh |   3|   3|
|ujd |   1|   3|
|ujx |   3|   3|
+----+----+----+

我尝试了 df.withColumn('total_count', f.countDistinct('col2')) 但它给出了错误。

Answer 1

您可以对列中的不同元素进行计数并使用以下值创建新列:

distincts = df.dropDuplicates(["col2"]).count()
df = df.withColumn("col3", f.lit(distincts))