来自 genfromtxt 的 Python 2D numpy 数组

Question

我有混合字符串和数字内容的数据文件。即:

tag1 0.1 0.2 0.3
tag2 0.2 0.3 0.5
tag3 0.1 0.4 0.5
tag2 0.4 0.3 0.2
tag1 0.3 0.3 0.1
tag3 0.2 0.1 0.4

最终目标是从第 2 列和第 3 列中提取一个数组来分析(可能绘制)所有标签为“tag2”的元素。 (及其其他排列)

关于 stackoverflow 的另一个讨论表明读取文件最好由 genfromtxt 使用 dtype=None 来理解 ascii 条目。

我尝试了这个想法；

x= np.genfromtxt('data1.rpt',dtype=None)

我希望得到一个 6 行 4 列的二维数组。但事实证明，我得到了一个包含 6 行和一些意想不到的复合条目的数组。

>>> x= np.genfromtxt('data1.rpt',dtype=None)
>>> x
array([('tag1', 0.1, 0.2, 0.3), ('tag2', 0.2, 0.3, 0.5),
       ('tag3', 0.1, 0.4, 0.5), ('tag2', 0.4, 0.3, 0.2),
       ('tag1', 0.3, 0.3, 0.1), ('tag3', 0.2, 0.1, 0.4)], 
      dtype=[('f0', 'S4'), ('f1', '<f8'), ('f2', '<f8'), ('f3', '<f8')])
>>> x.shape
(6,)
>>> 

将文件处理成数组的最佳方法是什么，然后可以过滤或切片内容？

感谢您的反馈。

Answer 1

坚持使用 genfromtxt 加载的数据:

In [155]: txt = b'''tag1 0.1 0.2 0.3
     ...: tag2 0.2 0.3 0.5
     ...: tag3 0.1 0.4 0.5
     ...: tag2 0.4 0.3 0.2
     ...: tag1 0.3 0.3 0.1
     ...: tag3 0.2 0.1 0.4'''.splitlines()
In [156]: data = np.genfromtxt(txt, dtype=None)
...
In [157]: data
Out[157]: 
array([(b'tag1', 0.1, 0.2, 0.3), (b'tag2', 0.2, 0.3, 0.5),
       (b'tag3', 0.1, 0.4, 0.5), (b'tag2', 0.4, 0.3, 0.2),
       (b'tag1', 0.3, 0.3, 0.1), (b'tag3', 0.2, 0.1, 0.4)],
      dtype=[('f0', 'S4'), ('f1', '<f8'), ('f2', '<f8'), ('f3', '<f8')])

我在 py3 中，所以字节串显示为 b'tag2''

这是一个结构化数组，包含字段而不是列。

In [158]: data['f0']
Out[158]: array([b'tag1', b'tag2', b'tag3', b'tag2', b'tag1', b'tag3'], dtype='|S4')

所以带有tag2的记录是:

In [161]: mask = data['f0']==b'tag2'
In [162]: mask
Out[162]: array([False,  True, False,  True, False, False])
In [163]: data1=data[mask]
In [164]: data1
Out[164]: 
array([(b'tag2', 0.2, 0.3, 0.5), (b'tag2', 0.4, 0.3, 0.2)],
      dtype=[('f0', 'S4'), ('f1', '<f8'), ('f2', '<f8'), ('f3', '<f8')])

我们可以从那些记录中选择数据列:

In [165]: col2 = data1['f1']
In [166]: col3 = data1['f2']
In [167]: col2
Out[167]: array([0.2, 0.4])
In [168]: col3
Out[168]: array([0.3, 0.3])

使用 genfromtxt 我可以指定 usecols。通过 2 阶段读取，我们可以跳过结构化数组。

读取一次获取标签:

In [170]: tags =np.genfromtxt(txt, usecols=[0], dtype=str)
In [171]: tags
Out[171]: array(['tag1', 'tag2', 'tag3', 'tag2', 'tag1', 'tag3'], dtype='<U4')
In [172]: mask = tags=='tag2'
In [173]: mask
Out[173]: array([False,  True, False,  True, False, False])

再次读取获取数据:

In [174]: data =np.genfromtxt(txt, usecols=[1,2,3])
In [175]: data
Out[175]: 
array([[0.1, 0.2, 0.3],
       [0.2, 0.3, 0.5],
       [0.1, 0.4, 0.5],
       [0.4, 0.3, 0.2],
       [0.3, 0.3, 0.1],
       [0.2, 0.1, 0.4]])
In [176]: data[mask,:]
Out[176]: 
array([[0.2, 0.3, 0.5],
       [0.4, 0.3, 0.2]])

或者使用更多的dtype，我可以用 2 个字段加载数据:

In [181]: data = np.genfromtxt(txt, dtype='U5,3f')
In [182]: data
Out[182]: 
array([('tag1', [0.1, 0.2, 0.3]), ('tag2', [0.2, 0.3, 0.5]),
       ('tag3', [0.1, 0.4, 0.5]), ('tag2', [0.4, 0.3, 0.2]),
       ('tag1', [0.3, 0.3, 0.1]), ('tag3', [0.2, 0.1, 0.4])],
      dtype=[('f0', '<U5'), ('f1', '<f4', (3,))])
In [183]: data['f0']
Out[183]: array(['tag1', 'tag2', 'tag3', 'tag2', 'tag1', 'tag3'], dtype='<U5')
In [184]: data['f1']
Out[184]: 
array([[0.1, 0.2, 0.3],
       [0.2, 0.3, 0.5],
       [0.1, 0.4, 0.5],
       [0.4, 0.3, 0.2],
       [0.3, 0.3, 0.1],
       [0.2, 0.1, 0.4]], dtype=float32)