gpt4 book ai didi

python-2.7 - 检查 Pyspark Dataframe 中的重复项

转载 作者:行者123 更新时间:2023-12-03 15:09:27 27 4
gpt4 key购买 nike

有没有一种简单有效的方法来检查 python 数据框是否基于列的重复项(而不是删除它们)?

我想检查一个数据框是否具有基于列组合的重复项,如果是,则该过程失败。

TIA。

最佳答案

如果您还想实际检查重复项,则可以执行

df \
.groupby(['column1', 'column2']) \
.count() \
.where('count > 1') \
.sort('count', ascending=False) \
.show()

关于python-2.7 - 检查 Pyspark Dataframe 中的重复项,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50122955/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com