python - 在 pyspark 数据框中显示不同的列值

Question

使用 pyspark dataframe，如何执行 Pandas 的等效操作 df['col'].unique()。

我想列出 pyspark 数据框列中的所有唯一值。

不是 SQL 类型方式(注册模板，然后 SQL 查询不同的值)。

此外，我不需要 groupby 然后 countDistinct，而是想检查该列中的不同值。

Answer 1

这应该有助于获取列的不同值:

df.select('column1').distinct().collect()

请注意，.collect() 对于可以返回的值数量没有任何内置限制，因此这可能会很慢 - 请使用 .show()相反，或者在 .collect() 之前添加 .limit(20) 来管理它。