python - 为什么在 dask 中运行 .compute() 导致 "Fatal Python error: GC object already tracked"

Question

我正在运行 Windows 10 和 Jupyter 笔记本版本 4.0.6，Python 2.7.10 和 Anaconda 2.4.0(64 位)

我正在关注 https://jakevdp.github.io/blog/2015/08/14/out-of-core-dataframes-in-python/ 上的博客/教程:

from dask import dataframe as dd
columns = ["name", "amenity", "Longitude", "Latitude"]
data = dd.read_csv("POIWorld.csv", usecols=columns)
with_name = data[data.name.notnull()]
with_amenity = data[data.amenity.notnull()]
is_starbucks = with_name.name.str.contains('[Ss]tarbucks')
is_dunkin = with_name.name.str.contains('[Dd]unkin')
starbucks = with_name[is_starbucks]
dunkin = with_name[is_dunkin]
dd.compute(starbucks.name.count(), dunkin.name.count())

最后一条语句导致在运行 Jupyter 的命令提示符 session 中出现错误，如下所示:

Fatal Python error: GC object already tracked

阅读类似的问题，它可能是处理 Python 处理内存的 dask 源代码中的一个可能问题，我希望我只是遗漏了一些东西。

我之前在本教程中遇到过标题和 dask 问题，必须运行:

pip install git+https://github.com/blaze/dask.git --upgrade

没有帮助的类似问题:

Fatal Python error: GC object already tracked

Debugging Python Fatal Error: GC Object already Tracked

Answer 1

某些版本的 Pandas 不能很好地处理多线程，尤其是 pandas.read_csv。这些问题已在最新版本的 Pandas 中修复，因此可以通过以下方法之一解决此问题:

conda install pandas

pip install pandas --upgrade