gpt4 book ai didi

data-analysis - 如何加快 Koalas 的头部功能执行时间?

转载 作者:行者123 更新时间:2023-12-05 04:43:16 24 4
gpt4 key购买 nike

对于大型数据集,koalas.head(n) 函数需要很长时间。我知道它试图带回驱动程序节点中的所有数据,然后呈现绝对前 n 行。

有没有什么快速的方法可以分析 koalas 中的前 n 行,以便只涉及一个或几个分区来获得预期的结果?我不想看到绝对的前 n 行,它们可以随机分布在不同的执行器节点上,甚至驻留在同一个分区中。

最佳答案

在导入 Koalas 后添加此语句似乎对我有帮助:

koalas.set_option('compute.default_index_type', 'distributed-sequence')

关于data-analysis - 如何加快 Koalas 的头部功能执行时间?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69659024/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com