python - low_memory 和 memory_map 标志在 pd.read_csv 中做什么

Question

pandas.read_csv 的函数签名提供以下选项:

read_csv(filepath_or_buffer, low_memory=True, memory_map=False, iterator=False, chunksize=None, ...)

我找不到任何关于 low_memory 或 memory_map 标志的文档。我很困惑这些功能是否已经实现，如果是的话它们是如何工作的。

具体而言，

1. memory_map:如果实现，它是否使用 np.memmap，如果是，它是否将各个列存储为 memmap 或行。
2. low_memory:它是否指定像cache这样的东西存储在内存中？
3. 我们可以将现有的 DataFrame 转换为 memmapped DataFrame

P.S. : 相关模块的版本

pandas==0.14.0
scipy==0.14.0
numpy==1.8.1

Answer 1

我将尝试总结对这个问题的评论，并将我自己的研究添加到一个全面的答案中。

1. low_memory 选项是有点 depricated，因为它实际上不再做任何事情 ( source )。

2. memory_map 似乎没有使用 numpy 内存映射，据我从 source code 可以看出它似乎是关于如何解析传入数据流的一个选项，而不是关于您接收到的数据帧如何工作的问题。

3. 由于我在第 2 点中的假设是这仅用于解析，所以这个问题有点无关紧要。