gpt4 book ai didi

python - 为什么 polars 被称为最快的 dataframe 库,dask 和 cudf 不是更强大吗?

转载 作者:行者123 更新时间:2023-12-05 05:39:37 26 4
gpt4 key购买 nike

大多数基准测试都隔离了 dask 和 cuDF,但我可以将它们结合使用。使用 cuDF 的 Dask 不会比 polars 更快吗?!

此外,Polars 仅在数据适合内存时才会运行,但 dask 并非如此。那为什么会有https://h2oai.github.io/db-benchmark/ dask 的内存不足指示?

最佳答案

不同的数据框库各有优缺点。例如,参见 this blog post为了比较不同的库,尤其是。从缩放 pandas 的角度来看。

Dask Dataframe 带有一些关于如何最好地将工作负载分配给多个任务的默认假设。如果这些假设对特定用例无效,那么与内存相关的错误并不少见。

关于python - 为什么 polars 被称为最快的 dataframe 库,dask 和 cudf 不是更强大吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72637325/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com