python-2.7 - 在python2中加载保存在python3中的numpy结构化数组

Question

似乎无法在 python2 中加载 python3 中保存的 numpy 结构化数组，因为字段名称是 unicode 字符串。

$ python3
Python 3.4.0 (default, Apr 11 2014, 13:05:11) 
>>> a = np.zeros(4, dtype=[('x',int)])
>>> np.save('a.npy', {'a': a})
>>> 
$ python2
Python 2.7.6 (default, Mar 22 2014, 22:59:56) 
>>> np.load('a.npy')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python2.7/dist-packages/numpy/lib/npyio.py", line 393, in load
    return format.read_array(fid)
  File "/usr/local/lib/python2.7/dist-packages/numpy/lib/format.py", line 602, in read_array
array = pickle.load(fp)
ValueError: non-string names in Numpy dtype unpickling

很长一段时间以来，这一直是一个 numpy 错误: https://github.com/numpy/numpy/issues/2407

有没有人有办法在 python2 中从 python3 加载 numpy 结构化数组(而不必在 python3 中加载和重新保存)？

Answer 1

我认为这不是 unicode 字段名称问题。

在 python3 中，我可以保存一个 object 数组:

In [133]: b=np.array([[1],[1,2],[1,2,3]])
In [134]: np.save('a.npy',b)
In [135]: np.load('a.npy')
Out[135]: array([[1], [1, 2], [1, 2, 3]], dtype=object)

在 python2 中

In [260]: np.load('a.npy')
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-260-76b2da2985df> in <module>()
----> 1 np.load('a.npy')

/usr/local/lib/python2.7/site-packages/numpy/lib/npyio.pyc in load(file, mmap_mode)
    386                 return format.open_memmap(file, mode=mmap_mode)
    387             else:
--> 388                 return format.read_array(fid)
    389         else:
    390             # Try a pickle

/usr/local/lib/python2.7/site-packages/numpy/lib/format.pyc in read_array(fp)
    451     if dtype.hasobject:
    452         # The array contained Python objects. We need to unpickle the data.
--> 453         array = pickle.load(fp)
    454     else:
    455         if isfileobj(fp):

TypeError: must be char, not unicode

错误不在同一个地方，但它仍然涉及 pickle.load。如果我保存 {'a':a}，我会得到同样的错误。

有了字典包装器，python3 load gets

array({'a': array([(0,), (0,), (0,), (0,)], 
      dtype=[('x', '<i4')])}, dtype=object)

正如 moamingsun 指出的那样，如果您在没有字典包装器的情况下保存 a 数组，则 python2 加载工作正常。

问题不在于字段名称，而在于 Python 3 v 2 pickling。如果必须保存 Python 对象，np.save 会将责任交给 pickle。我确信 py2 v 3 酸洗兼容性已在其他地方进行了深入讨论。