python - 删除 Dask 中的空分区

Question

从 CSV 加载数据时，无法加载某些 CSV，导致分区为空。我想删除所有空分区，因为某些方法似乎不适用于空分区。我已尝试重新分区，其中(例如)repartition(npartitions=10) 有效，但大于此值的值仍会导致分区为空。

实现此目标的最佳方法是什么？谢谢。

Answer 1

我发现按日期过滤 Dask 数据帧通常会导致空分区。如果您在使用具有空分区的数据框时遇到问题，可以根据 MRocklin 的指导使用以下函数来剔除它们:

def cull_empty_partitions(df):
    ll = list(df.map_partitions(len).compute())
    df_delayed = df.to_delayed()
    df_delayed_new = list()
    pempty = None
    for ix, n in enumerate(ll):
        if 0 == n:
            pempty = df.get_partition(ix)
        else:
            df_delayed_new.append(df_delayed[ix])
    if pempty is not None:
        df = dd.from_delayed(df_delayed_new, meta=pempty)
    return df