python - Python Pandas 中的引擎 read_csv

Question

在 python 中 pandas 中的 pd.read_csv() 方法的文档中，在描述“sep”参数时，提到了 C 引擎和 Python 引擎等引擎。

文档链接是: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html

这些引擎是什么？每个引擎的作用是什么？有什么类比可以帮助更好地理解这些引擎吗？

Answer 1

pd.read_csv文档记录了“c”(默认)和“python”引擎之间的具体差异。名称表明解析器的编写语言。具体来说，文档指出:

Where possible pandas uses the C parser (specified as engine='c'), but may fall back to Python if C-unsupported options are specified.

以下是您应该注意的主要差异(从 v0.23.4 开始):

• “c”速度更快，而“python”目前功能更完整。
• “python”支持 skipfooter，而“c”则不支持。
• “python”支持灵活的 sep，而不是单个字符(包括正则表达式)，而“c”则不支持。
• 'python' 支持 sep=None 和 delim_whitespace=False，这意味着它可以自动检测分隔符，而 'c'没有。
• 'c' 支持 float_ precision，而 'python' 不支持(或不需要)。

版本说明:

• dtype 在“python”v0.20.0+ 中受支持。
• delim_whitespace 在“python”v0.18.1+ 中受支持。

请注意，随着功能的开发，上述可能发生变化。您应该检查IO Tools (Text, CSV, HDF5, …)如果您在更高版本中看到意外行为。