python - dask 数据帧 head() 返回空 df

Question

我有一个 dask 数据框，其中一列上有索引。问题是如果我执行 df.head() 它总是返回一个空的 df，而 df.tail 总是返回正确的 df。我检查过 df.head 总是检查第一个分区中的前 n 个条目。因此，如果我执行 df.reset_index()，它应该可以工作，但事实并非如此

下面是重现此问题的代码:

import dask.dataframe as dd
import pandas as pd

data = pd.DataFrame({
     'i64': np.arange(1000, dtype=np.int64),
     'Ii32': np.arange(1000, dtype=np.int32),
     'bhello': np.random.choice(['hello', 'Yo', 'people'], size=1000).astype("O")
})

daskDf = dd.from_pandas(data, chunksize=3)
daskDf = daskDf.set_index('bhello')
print(daskDf.head())

Answer 1

尝试使用npartitions=-1调用head，以使用所有分区(默认情况下，仅使用第一个，并且可能没有足够的元素来返回头)。

daskDf.head(npartitions=-1)