python - 使用 NumPy loadtxt/savetxt 指定编码

Question

使用 NumPy loadtxt和 savetxt只要涉及非 ASCII 字符，函数就会失败。这些函数主要用于数字数据，但也支持字母数字页眉/页脚。

两者都是 loadtxt和 savetxt似乎正在应用 latin-1 编码，我发现它与 Python 3 的其余部分非常正交，Python 3 完全支持 unicode，并且似乎总是使用 utf-8 作为默认编码。

鉴于 NumPy 尚未将 utf-8 作为默认编码，我是否可以通过一些已实现的函数/属性或已知的 hack，至少将编码从 latin-1 更改为 loadtxt/savetxt还是整个 NumPy？

这在 Python 2 中是不可能的，这是可以原谅的，但在使用 Python 3 时它真的不应该成为问题。我发现使用 Python 3.x 和最近许多版本的 NumPy 的任意组合都存在问题。

示例代码

考虑文件 data.txt与内容

# This is π
3.14159265359

尝试加载它

import numpy as np
pi = np.loadtxt('data.txt')
print(pi)

失败并返回 UnicodeEncodeError异常，说明 latin-1 编解码器无法对字符“\u03c0”进行编码'(π 字符)。

这令人沮丧，因为 π仅出现在评论/标题行中，因此没有理由 loadtxt甚至尝试对这个字符进行编码。

我可以通过使用 pi = np.loadtxt('data.txt', skiprows=1) 显式跳过第一行来成功读入文件, 但必须知道标题行的确切数量是不方便的。

如果我尝试使用 savetxt 来编写一个 unicode 字符，则会抛出相同的异常。 :

np.savetxt('data.txt', [3.14159265359], header='# This is π')

为了成功完成这项任务，我首先必须通过其他方式写入文件头，然后将数据保存到用'a+b' 打开的文件对象中。模式，例如

with open('data.txt', 'w') as f:
    f.write('# This is π\n')
with open('data.txt', 'a+b') as f:
    np.savetxt(f, [3.14159265359])

不用说，这既丑陋又不方便。

解决方案

我选择了 hpaulj 的解决方案，我认为最好完整地说明一下。我现在做的接近我程序的顶部

import numpy as np

asbytes = lambda s: s if isinstance(s, bytes) else str(s).encode('utf-8')
asstr = lambda s: s.decode('utf-8') if isinstance(s, bytes) else str(s)
np.compat.py3k.asbytes = asbytes
np.compat.py3k.asstr = asstr
np.compat.py3k.asunicode = asstr
np.lib.npyio.asbytes = asbytes
np.lib.npyio.asstr = asstr
np.lib.npyio.asunicode = asstr

之后np.loadtxt和 np.savetxt正确处理 Unicode。

请注意，对于较新版本的 NumPy(我可以确认 1.14.3，但也有一些较旧的版本)不需要此技巧，因为现在默认情况下似乎可以正确处理 Unicode。

Answer 1

至少对于 savetxt 编码是在

中处理的

Signature: np.lib.npyio.asbytes(s)
Source:   
    def asbytes(s):
        if isinstance(s, bytes):
            return s
        return str(s).encode('latin1')
File:      /usr/local/lib/python3.5/dist-packages/numpy/compat/py3k.py
Type:      function

Signature: np.lib.npyio.asstr(s)
Source:   
    def asstr(s):
        if isinstance(s, bytes):
            return s.decode('latin1')
        return str(s)
File:      /usr/local/lib/python3.5/dist-packages/numpy/compat/py3k.py
Type:      function

header 被写入wb文件

        header = header.replace('\n', '\n' + comments)
        fh.write(asbytes(comments + header + newline))

Write numpy unicode array to a text file有我以前的一些探索。在那里我关注的是数据中的字符，而不是标题。