python - 使用 dask 将 CSV 文件转换为 parquet(jupyter 内核崩溃)

Question

我正在尝试使用 jupyter notebook 将一个相当大的 CSV 文件转换为 parquet 格式。但是，笔记本在尝试转换时会重新启动。

由于 dask 会增加内存大小并加载适合内存的数据 block ，因此在执行大于内存的数据集时不应发生此错误。 (内核崩溃背后的原因是内存过载)。我正在 dask 中的一台机器上运行这个内核。

代码如下。

import dask
import dask.dataframe as dd
from dask.distributed import Client
client = Client()

merchant = dd.read_csv('/home/michael/Elo_Merchant/merchants.csv')
merchant.to_parquet('merchants.parquet') # kernel restarts when run this line.

更新:

我使用终端运行同样的东西并得到了这个错误。

>>>merchant.to_parquet('merchants.parquet')
2019-03-06 13:22:29.293680: F tensorflow/core/platform/cpu_feature_guard.cc:37] The TensorFlow library was compiled to use AVX instructions, but these aren't available on your machine.
Aborted
$/usr/lib/python3.5/multiprocessing/semaphore_tracker.py:129: UserWarning: semaphore_tracker: There appear to be 12 leaked semaphores to clean up at shutdown
  len(cache))

谁能帮我解决这个问题。

谢谢

迈克尔

Answer 1

我找到了问题的解决方案。我将 parquet 转换引擎更改为 fastparquet。代码如下。我以前只安装过 pyarrow。如果两者都安装了 fastparquet 将是默认引擎。尽管如此，我还是在代码中展示了，否则，它将与上面的代码相同。

import dask.dataframe as dd

merchant = dd.read_csv('/home/michael/Elo_Merchant/merchants.csv')
merchant.to_parquet('merchants.parquet', engine='fastparquet') #Works 

希望对你有帮助

谢谢

迈克尔