python - 由 ascii 忽略编码的 pandas csv 写入

Question

Pandas csv 解析器(http://pandas.pydata.org/pandas-docs/stable/generated/pandas.io.parsers.read_csv.html)支持不同的编码:

import pandas
data = pandas.read_csv(myfile, encoding='utf-8', quotechar='"', delimiter=',') 

如何实现 ascii 忽略我的数据帧的编码大小写？

encode('ascii', 'ignore')

Answer 1

Pandas 似乎不允许您这样做。在使用 pandas 阅读之前，我必须预处理我的 CSV 文件:

decoded = codecs.decode(myfile.read(), "utf-8", "ignore")
encoded = codecs.encode(decoded, "utf-8", "ignore") #probably superfluous
fakefile = StringIO.StringIO(encoded)
data = pandas.read_csv(fakefile, encoding="utf-8")

如果你有一个非常大的 CSV 文件可能会很糟糕，但你可以一次读取 csv 文件的 block 。