python - 一个有弹性的、实际工作的非 ascii 的 CSV 实现？

Question

[更新] 感谢所有的答案和输入，但工作代码 将是最受欢迎的。如果您可以提供可以读取示例文件的代码，那么您就是国王(或王后)。

[更新 2] 感谢您的出色回答和讨论。我需要用这些做的是读入它们，解析它们，并将它们的一部分保存在 Django 模型实例中。我相信这意味着将它们从它们的 native 编码转换为 unicode，以便 Django 可以处理它们，对吗？

有several questions在 Stackoverflow 上已经讨论了非 ascii python CSV 读取的主题，但是那里和 python 文档中显示的解决方案不适用于我正在尝试的输入文件。

解决方案的要点似乎是对 CSV 阅读器的输入进行编码('utf-8')，并对阅读器的输出进行 unicode(项目，'utf-8')。然而，这会遇到 UnicodeDecodeError 问题(见上面的问题):

UnicodeDecodeError: 'utf8' codec can't decode byte 0xa3 in position 8: unexpected

输入文件不一定是utf8；它可以是 ISO-8859-1、cp1251 或其他任何东西。

那么，问题来了:什么是在 Python 中读取 CSV 文件的弹性、交叉编码能力的方法？

问题的根源似乎是 CSV 模块是 C 扩展；有纯python的CSV读取模块吗？

如果不是，有没有办法可靠地检测输入文件的编码以便对其进行处理？

基本上，我正在寻找一种可靠的方法来读取(并希望写入)任何编码的 CSV 文件。

这里有两个示例文件:European , Russian .

这里是失败的推荐解决方案:

Python 2.6.4 (r264:75821M, Oct 27 2009, 19:48:32)
[GCC 4.0.1 (Apple Inc. build 5493)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import csv
>>> def unicode_csv_reader(unicode_csv_data, dialect=csv.excel, **kwargs):
...     # csv.py doesn't do Unicode; encode temporarily as UTF-8:
...     csv_reader = csv.reader(utf_8_encoder(unicode_csv_data),
...                             dialect=dialect, **kwargs)
...     for row in csv_reader:
...         # decode UTF-8 back to Unicode, cell by cell:
...         yield [unicode(cell, 'utf-8') for cell in row]
...
>>> def utf_8_encoder(unicode_csv_data):
...     for line in unicode_csv_data:
...         yield line.encode('utf-8')
...
>>> r = unicode_csv_reader(file('sample-euro.csv').read().split('\n'))
>>> line = r.next()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 5, in unicode_csv_reader
  File "<stdin>", line 3, in utf_8_encoder
UnicodeDecodeError: 'ascii' codec can't decode byte 0xf8 in position 14: ordinal not in range(128)
>>> r = unicode_csv_reader(file('sample-russian.csv').read().split('\n'))
>>> line = r.next()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 5, in unicode_csv_reader
  File "<stdin>", line 3, in utf_8_encoder
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa0 in position 28: ordinal not in range(128)

Answer 1

您正在尝试将解决方案应用于不同的 问题。请注意:

def utf_8_encoder(unicode_csv_data)

您正在向它提供 str 对象。

读取非 ASCII CSV 文件的问题在于您不知道编码和分隔符。如果您确实知道编码(并且它是基于 ASCII 的编码(例如 cp125x，任何东亚编码，UTF-8，不是 UTF-16，不是 UTF-32 )), 和分隔符，这将起作用:

for row in csv.reader("foo.csv", delimiter=known_delimiter):
   row = [item.decode(encoding) for item in row]

您的 sample_euro.csv 看起来像带有逗号分隔符的 cp1252。俄语看起来像 cp1251，带有分号分隔符。顺便说一句，从内容来看，您似乎还需要确定正在使用的日期格式，也许还需要确定货币——俄语示例中有金额后跟一个空格和“卢布”的西里尔字母缩写。

请注意:拒绝所有说服您拥有以 ISO-8859-1 编码的文件的尝试。它们以 cp1252 编码。

更新 以响应评论“”“如果我明白你在说什么，我必须知道编码才能使其工作？在一般情况下，我不知道编码和根据另一个答案猜测编码非常困难，所以我运气不好？"""

您必须知道任何文件读取练习的编码才能起作用。

对于任何大小的文件中的任何编码，始终正确地猜测编码并不是很困难——这是不可能的。然而，将范围限制为以用户区域设置的默认编码从 Excel 或 Open Office 中保存的 csv 文件，并且大小合理，这并不是一项艰巨的任务。我建议给 chardet试一试；它为您的欧元文件猜测 windows-1252，为您的俄语文件猜测 windows-1251 - 考虑到它们的小尺寸，这是一个了不起的成就。

更新 2 响应“”“工作代码 将是最受欢迎的“””

工作代码(Python 2.x):

from chardet.universaldetector import UniversalDetector
chardet_detector = UniversalDetector()

def charset_detect(f, chunk_size=4096):
    global chardet_detector
    chardet_detector.reset()
    while 1:
        chunk = f.read(chunk_size)
        if not chunk: break
        chardet_detector.feed(chunk)
        if chardet_detector.done: break
    chardet_detector.close()
    return chardet_detector.result

# Exercise for the reader: replace the above with a class

import csv    
import sys
from pprint import pprint

pathname = sys.argv[1]
delim = sys.argv[2] # allegedly known
print "delim=%r pathname=%r" % (delim, pathname)

with open(pathname, 'rb') as f:
    cd_result = charset_detect(f)
    encoding = cd_result['encoding']
    confidence = cd_result['confidence']
    print "chardet: encoding=%s confidence=%.3f" % (encoding, confidence)
    # insert actions contingent on encoding and confidence here
    f.seek(0)
    csv_reader = csv.reader(f, delimiter=delim)
    for bytes_row in csv_reader:
        unicode_row = [x.decode(encoding) for x in bytes_row]
        pprint(unicode_row)

输出 1:

delim=',' pathname='sample-euro.csv'
chardet: encoding=windows-1252 confidence=0.500
[u'31-01-11',
 u'Overf\xf8rsel utland',
 u'UTLBET; ID 9710032001647082',
 u'1990.00',
 u'']
[u'31-01-11',
 u'Overf\xf8ring',
 u'OVERF\xd8RING MELLOM EGNE KONTI',
 u'5750.00',
 u';']

输出 2:

delim=';' pathname='sample-russian.csv'
chardet: encoding=windows-1251 confidence=0.602
[u'-',
 u'04.02.2011 23:20',
 u'300,00\xa0\u0440\u0443\u0431.',
 u'',
 u'\u041c\u0422\u0421',
 u'']
[u'-',
 u'04.02.2011 23:15',
 u'450,00\xa0\u0440\u0443\u0431.',
 u'',
 u'\u041e\u043f\u043b\u0430\u0442\u0430 Interzet',
 u'']
[u'-',
 u'13.01.2011 02:05',
 u'100,00\xa0\u0440\u0443\u0431.',
 u'',
 u'\u041c\u0422\u0421 kolombina',
 u'']

更新 3 这些文件的来源是什么？如果它们从 Excel 或 OpenOffice Calc 或 Gnumeric“另存为 CSV”，您可以通过将它们另存为“Excel 97-2003 工作簿 (*.xls)”并使用 xlrd 来避免整个编码过程。阅读它们。这也将省去必须检查每个 csv 文件以确定分隔符(逗号与分号)、日期格式(31-01-11 与 04.02.2011)和“小数点”(5750.00 与 450,00)的麻烦 - - 所有这些差异可能是通过另存为 CSV 造成的。 [免责声明]:我是 xlrd 的作者。