python - 在 python 中正确读取 Windows-1252(cp1252) 文件中的文本

Question

好吧，正如标题所示，我遇到的问题是从 python 中的 windows-1252 编码文件中正确读取输入并将所述输入插入到 SQLAlchemy-MySql 表中。

当前系统设置:
带有输出文件的“Roger Access Control System”的 Windows 7 VM；
Ubuntu 12.04 LTS VM 与 Windows 系统的共享文件夹，因此我可以使用“Python 2.7.3”访问该文件。

现在到实际问题，对于输入文件，我有一个“VM 共享文件夹”，其中包含一个通过 Roger 访问控制系统在 Windows 7 系统上生成的文件(更多详细信息，roger.pl)，这个文件被称为“PREvents.csv”，这表明它的内容是“;”单独的数据列表。

数据格式示例:

2013-03-19;15:58:30;100;Jānis;Dumburs;1;Uznemums1;0;Ieeja;
2013-03-19;15:58:40;100;Jānis;Dumburs;1;Uznemums1;2;Izeja;

第 4 个字段包含卡所有者姓名，第 5 个字段包含所有者姓氏，第 6 个字段包含所有者分配的组。

问题在于上述三个字段中的任何一个都可以包含特定于拉脱维亚语言的字符，在示例文件中，单词“Jānis”包含字母“ā”，在 unicode 中是 257。

按照我的习惯，我这样打开文件:

try:
    f = codecs.open(file, 'rb', 'cp1252')
except IOError:
    f = codecs.open(file, 'wb', 'cp1252')

到目前为止，一切正常 - 它打开了文件，所以我继续迭代文件的每一行(这是一个连续运行的脚本，所以请原谅循环):

while True:
    line = f.readline()

    if not line:
        # Pause loop for 1 second
        time.sleep(1)
    else:
        # Split the line into list
        date, timed, userid, firstname, lastname, groupid, groupname, typed, pointname, empty = line.split(';')

这就是问题开始的地方，如果我 print repr(firstname) 它打印 u'J\xe2nis' 据我所知，不是正确 - `\xe2\不代表拉脱维亚字符“ā”。
根据事件类型进一步向下循环，我将变量分配给 SQLAlchemy 对象并插入/更新:

if typed == '0':  # Entry type
    event = Events(
        period,
        fullname,
        userid,
        groupname,
        timestamp,
        0,
        0
    )
    session.add(event)
else:  # Exit type
    event = session.query(Events).filter(
        Events.period == period,
        Events.exit == 0,
        Events.userid == userid
    ).first()
    if event is not None:
        event.exit = timestamp
        event.spent = timestamp - event.entry

# Commit changes to database
session.commit()

在我寻找答案的过程中，我发现了如何定义要使用的默认编码:

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

这对我没有任何帮助。

基本上，这一切都会导致我无法插入正确的所有者名字/姓氏以及所有者分配的组名，如果它们包含任何拉脱维亚特定字符，例如:

Instead of the character "ā" it inserts "â"

我还想补充一点，我无法更改“PREvents.csv”文件编码，并且“RACS”系统不支持插入 UTF-8 或 Unicode 文件 - 如果您尝试任何一种方式，系统都会随机插入拉脱维亚特定字符的符号。

如果需要任何其他信息，请现在告诉我，我很乐意提供:)

任何帮助将不胜感激。

Answer 1

CP1252 不能代表ā；您的输入包含相似的字符 â。 repr 仅在 Python 2.x 中显示 unicode 字符串的 ASCII 表示:

>>> print(repr(b'J\xe2nis'.decode('cp1252')))
u'J\xe2nis'
>>> print(b'J\xe2nis'.decode('cp1252'))
Jânis