python - 保存到 Parquet 会在 Dask.dataframe 中引发错误

Question

执行操作时:Dask.dataframe.to_parquet(data)，如果data是通过Dask读取的，具有给定的分区数，并且您在删除了一些列后尝试将其保存为 Parquet 格式，但它失败了，例如以下错误:

FileNotFoundError: [Errno 2] No such file or directory: part.0.parquet'

有人遇到同样的问题吗？

这是一个最小的例子 - 请注意方式 1 按预期工作，而方式 2 不工作:

import numpy as np
import pandas as pd
import dask.dataframe as dd

# -------------
# way 1 - works
# -------------
print('way 1 - start')
A = np.random.rand(200,300)
cols = np.arange(0, A.shape[1])
cols = [str(col) for col in cols]
df = pd.DataFrame(A, columns=cols)
ddf = dd.from_pandas(df, npartitions=11)

# compute and resave
ddf.drop(cols[0:11], axis=1)
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
print('way 1 - end')

# ----------------------
# way 2 - does NOT work 
# ----------------------
print('way 2 - start')
ddf = dd.read_parquet('error.parquet')

# compute and resave
ddf.drop(cols[0:11], axis=1)
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
print('way 2 - end')

Answer 1

哦，太好了，您发现了一个由于 overwrite=True 选项引起的错误。所以当 overwrite=True 选项被设置时会发生什么，dask 删除路径，参见 these lines .现在，在您的示例中 ddf 是惰性的，因此当需要写入数据时，dask 会尝试读取文件，但它们现在已经消失了。

因此，一种解决方案是将新数据框保存到不同的路径，然后删除旧文件夹并将新数据框的文件夹移动到旧文件夹(一些选项是 here )。

另一种选择是将 ddf 加载到内存中(如果适合)，然后使用您的代码:

print('way 2 - start')
ddf = dd.read_parquet('error.parquet')

# # compute and persist in memory (note do not use
# # .compute because the dataframe will turn into
# # pandas data frame
ddf = ddf.drop(cols[0:11], axis=1)
ddf = ddf.persist()
dd.to_parquet(
    ddf, 'error.parquet', engine='auto', compression='default',
    write_index=True, overwrite=True, append=False)
# print('way 2 - end')

作为旁注，当您运行 ddf.drop(cols[0:11], axis=1) 时，如果您希望在数据框中更改它，则需要分配它:

ddf = ddf.drop(cols[0:11], axis=1)

更新:有一些相关的讨论here