gpt4 book ai didi

apache-spark - 如何使用 pyspark 计算 apache spark 数据框的大小?

转载 作者:行者123 更新时间:2023-12-04 08:51:25 26 4
gpt4 key购买 nike

有没有办法使用 pyspark 计算 Apache spark 数据帧的大小(以字节为单位)?

最佳答案

为什么不只缓存 df,然后查看存储下的 spark UI 并将单位转换为字节

df.cache()

关于apache-spark - 如何使用 pyspark 计算 apache spark 数据框的大小?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38180140/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com