mysql - 如何从 apache-spark 中的数据帧列中的重复值中仅选择第一行？

Question

考虑一下我确实有包含以下数据的dataframe，

val seq = Seq((1, "John"), (1, "John"), (2, "Michael"), (3, "Sham"),(4, "Dan"), (2, "Michael"), (4, "Dan"))

val rdd = sc.parallelize(seq)

val df = rdd.toDF("id","name")

我想要输出为:

1, "John"

2, "Michael"

3, "Sham"

4, "Dan"

如何从数据集中选择仅行，其中id和name列都允许重复 >.

Answer 1

您可以在数据框/数据集上使用 dropDuplicates()。