pyspark - 如何在pyspark数据框中查找重复的列值

Question

我正在尝试从 pyspark 的数据框中找到重复的列值。

例如，我有一个单列“A”的数据框，其值如下所示:

==
A
==
1
1
2
3
4
5
5

我期待如下输出(我只需要重复值)

==
A
==
1
5

Answer 1

与@Yuva 相同的答案，但使用内置函数:

df = sqlContext.createDataFrame([(1,),(1,),(2,),(3,),(4,),(5,),(5,)],('A',))

df.groupBy("A").count().where("count > 1").drop("count").show()

+---+
|  A|
+---+
|  5|
|  1|
+---+