gpt4 book ai didi

python - 懒惰地从 PostgreSQL/Cassandra 创建 Dask DataFrame

转载 作者:太空宇宙 更新时间:2023-11-03 12:03:34 25 4
gpt4 key购买 nike

据我所知,Dask DataFrame 是处理表格数据的正确方法。我在 PostgreSQL 中有一个表,我知道将它加载到 pandas.Dataframe 中的方法。

我知道,odo 可用于将 pandas.DataFrame 转换为 dask.dataframe。但这不是惰性操作:这种转换强制将整个 PostgeSQL 表加载到内存中,这是不好的。我更喜欢一个接一个或大块地阅读项目。如何做到这一点?

  1. Cassandra 的类似问题。但 Cassandra 就像分布式存储,它可以针对分布式访问进行优化。但是如何使用 Dask 做到这一点呢?

最佳答案

至于 MongoDB,我创建了以下解决方案: https://gist.github.com/Sklavit/747e292fc17f6c9b400470006ff1c567

主要思想是创建一个目标名称包,然后将这些参数传递给加载器。

关于python - 懒惰地从 PostgreSQL/Cassandra 创建 Dask DataFrame,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39907188/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com