python - 如何在 dask 数据框中设置(计算)分区？

Question

从 parquet 或 csv 文件加载数据时，有 NONE 分区。DASK 文档没有关于如何设置和计算这个的信息....

如何正确设置和计算DASK dataframe的划分？

Answer 1

如果您从 parquet 读取数据，您可以像本例中那样使用 infer_divisions=True

import dask.dataframe as dd
df = dd.read_parquet("file.parq", infer_divisions=True)

如果你需要，你可以在阅读时直接设置索引

df = dd.read_parquet("file.parq", index="my_col",
                     infer_divisions=True)