apache-spark - 如何根据特定组的计数删除 Spark 数据集中的行

Question

我在 Spark 中有一个数据框-

我想根据特定州的人计数来过滤行。我的意思是，我只想保留那些人数>1的州行。

所以所需的输出看起来像 -

所需的输出将删除州 S2 和 S4 的行，因为它们的人员计数小于 2。

如果有人能帮助我解决这个问题，那就太好了。预先感谢:)

Answer 1

您可以在窗口上使用“人数统计”并过滤掉以下行。

from pyspark.sql.window import Window
from pyspark.sql import functions as F

df = spark.createDataFrame([
    ("S1", "S1_P1"),
    ("S1", "S1_P2"),
    ("S1", "S1_P3"),
    ("S2", "S2_P1"),
    ("S3", "S3_P1"),
    ("S3", "S3_P2"),
    ("S4", "S4_P1")
],["State", "Person"])

window = Window.partitionBy("State")

df.withColumn("count", F.count("Person").over(window))\
    .filter(F.col("count") > 1).drop("count").show()

输出:

+-----+------+
|State|Person|
+-----+------+
|   S3| S3_P1|
|   S3| S3_P2|
|   S1| S1_P1|
|   S1| S1_P2|
|   S1| S1_P3|
+-----+------+