python - Dask:pickle dataframe 以备后用是否安全？

Question

我有一个类似数据库的对象，其中包含许多 dask 数据帧。我想处理数据，保存并在第二天重新加载以继续分析。

因此，我尝试使用 pickle 保存 dask 数据帧(不是计算结果，只是“计算计划”本身)。显然，它有效(至少，如果我在完全相同的机器上解开对象)......但是有一些陷阱吗？

Answer 1

一般来说，它通常是安全的。但是有一些注意事项:

1. 如果您的 dask.dataframe 包含自定义函数，例如 with with df.apply(lambda x: x)，则内部函数将不可 pickle。但是它仍然可以用 cloudpickle 序列化。
2. 如果您的 dask.dataframe 包含对仅在您本地计算机上有效的文件的引用，那么尽管它仍然可以序列化，但在另一台计算机上重新序列化的版本可能不再有用
3. 如果您的 dask.dataframe 包含 dask.distributed Future 对象，例如您在集群上使用 Executor.persist 时会发生的情况，那么这些目前不可序列化。
4. 我建议使用 >= 0.11.0 的版本。