python - 使用 numpy.savetxt 实现不同的列格式

Question

我想使用 numpy.savetxt 创建一个 .csv 文件。文件的每一行表示某个事件。每行都有多个列，指示事件的不同元素。每列中存储的信息是不同的。某些列将包含单个float值，而其他列则应包含两个相互连接的float。如果我在加载 .csv 时调用该列，我应该获得两个 float 值。

我有以下代码:

import numpy

rows = 5
columns = 2 
save_values = numpy.zeros((rows, columns))

for idx in xrange(rows):
  column_0 = float(idx)
  column_1 = [idx + 5., idx + 15.]

  save_values[idx, :] = column_0, column_1

numpy.savetxt("outfile.csv", save_values, delimiter = ",")

但这会导致以下错误消息:

  save_values[idx, :] = column_0, column_1
ValueError: setting an array element with a sequence.

这是可以理解的。然而，尽管知道为什么会出错，但我很难实现我的目标。

我怎样才能实现我的目标？

Answer 1

您甚至还没有进入 savetxt 步骤。

save_values[idx, :] = column_0, column_1

目标是 2 个值(2 列)。源是 idx 和一个列表。

这就是为什么它会给你“设置序列”错误。它无法将列表放入 save_values[idx,1] 中。

您可以定义一个具有 2 个字段的 save_values 数组，其中一个字段具有 2 个元素。但你会如何保存它呢？

文本文件应该如何显示 - 由 , 分隔的 3 列？或者第二个内部有特殊结构的两列？例如

 1.2, 3.5, 4.2   # or
 1.2, [2.5, 4.2]

这又提出了可以加载什么的问题。 genfromtxt 可以处理3列；它不能轻易地处理嵌套列。默认情况下，genfromtxt 会将 3 列情况读取为 3 列，但也可以为其提供 2 个字段dtype。

无论如何，为了保存，我认为生成 3 列是最简单的。可以通过列或字段来完成重新加载。

我可以使用以下命令生成复合数据类型数组:

In [329]: dt = np.dtype('i,(2,)f')
In [330]: dt
Out[330]: dtype([('f0', '<i4'), ('f1', '<f4', (2,))])
In [331]: save_values = np.zeros((5,),dtype=dt)
In [332]: for i in range(5):
     ...:     save_values[i]=(i,(i+5., i+15.))
     ...:     
In [333]: save_values
Out[333]: 
array([(0, [5.0, 15.0]), (1, [6.0, 16.0]), (2, [7.0, 17.0]),
       (3, [8.0, 18.0]), (4, [9.0, 19.0])], 
      dtype=[('f0', '<i4'), ('f1', '<f4', (2,))])

但是如果我尝试保存它，就会收到错误

In [334]: np.savetxt('test.txt',save_values,delimiter=',')
...
TypeError: Mismatch between array dtype ('[('f0', '<i4'), ('f1', '<f4', (2,))]') and format specifier ('%.18e,%.18e')

我可以通过拼写出写入格式 fmt%tuple(save_values[0]) 来保存它，但这会将 [] 放入输出中:

In [335]: np.savetxt('test.txt',save_values,fmt='%10d, %s')
In [336]: cat test.txt
         0, [  5.  15.]
         1, [  6.  16.]
         2, [  7.  17.]
         3, [  8.  18.]
         4, [  9.  19.]

我可以用 View 展平数组数据类型(这里我保留第一个字段整数只是为了让事情变得有趣):

In [337]: dt1=np.dtype('i,f,f')
In [338]: save_values.view(dt1)
Out[338]: 
array([(0, 5.0, 15.0), (1, 6.0, 16.0), (2, 7.0, 17.0), (3, 8.0, 18.0),
       (4, 9.0, 19.0)], 
      dtype=[('f0', '<i4'), ('f1', '<f4'), ('f2', '<f4')])

现在我可以将其保存为 3 列:

In [340]: np.savetxt('test.txt',save_values.view(dt1),fmt='%10d, %10f, %10f')
In [341]: cat test.txt
         0,   5.000000,  15.000000
         1,   6.000000,  16.000000
         2,   7.000000,  17.000000
         3,   8.000000,  18.000000
         4,   9.000000,  19.000000

我可以使用任一数据类型重新加载它:

In [342]: np.genfromtxt('test.txt',delimiter=',',dtype=dt)
Out[342]: 
array([(0, [5.0, 15.0]), (1, [6.0, 16.0]), (2, [7.0, 17.0]),
       (3, [8.0, 18.0]), (4, [9.0, 19.0])], 
      dtype=[('f0', '<i4'), ('f1', '<f4', (2,))])

In [343]: np.genfromtxt('test.txt',delimiter=',',dtype=dt1)
Out[343]: 
array([(0, 5.0, 15.0), (1, 6.0, 16.0), (2, 7.0, 17.0), (3, 8.0, 18.0),
       (4, 9.0, 19.0)], 
      dtype=[('f0', '<i4'), ('f1', '<f4'), ('f2', '<f4')])

我还可以使用 5x3 float 组创建 text.txt。

savetxt 的关键点是它迭代数组的行，格式化它们，并将该行写入文件。所以你的数组必须与:

for row in myarray:
   print(fmt % tuple(row))

fmt 可以拼写出来，或者可以从单个字段格式构建，例如。

fmt = ','.join(['%10f']*3)   # or
fmt = '%10d, %10f, %10f'

所以它归结为标准的 Python 字符串格式。