python - 在单个文件上使用多个 genfromtxt

Question

我是 Python 的新手，目前在处理我的输入文件读取时遇到问题。基本上我希望我的代码采用一个输入文件，其中相关信息包含在 4 行的 block 中。对于我的特定目的，我只关心每个 block 的第 1-3 行中的信息。

我正在处理的输入的两 block 示例如下所示:

#Header line 1
#Header line 2
'Mn 1',       5130.0059,  -2.765,  5.4052,  2.5,  7.8214,  1.5, 1.310, 2.390, 0.500, 8.530,-5.360,-7.630,
'  LS                                                                       3d6.(5D).4p z6F*'
'  LS                                                                       3d6.(5D).4d e6F'
'K07           A   Kurucz MnI 2007    1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07       1 K07     Mn            '
'Fe 2',       5130.0127,  -5.368,  7.7059,  2.5, 10.1221,  2.5, 1.030, 0.860, 0.940, 8.510,-6.540,-7.900,
'  LS                                                                     3d6.(3F2).4p y4F*'
'  LS                                                                           3d5.4s2 2F2'
'RU                Kurucz FeII 2013   4 K13       5 RU        4 K13       4 K13       4 K13       4 K13       4 K13       4 K13       4 K13     Fe+           '

我更愿意将来自这三行中每一行的信息存储在单独的数组中。由于条目是字符串和 float 的混合，我使用 Numpy.genfromtxt 来读取输入文件，如下所示:

import itertools
import numpy as np

with open(input_file) as f_in:
  #Opening file, reading every fourth line starting with line 2.
  data = np.genfromtxt(itertools.islice(f_in,2,None,4),dtype=None,delimiter=",")
  #Storing lower transition designation:
  low = np.genfromtxt(itertools.islice(f_in,3,None,4),dtype=str)
  #Storing upper transition designation:
  up = np.genfromtxt(itertools.islice(f_in,4,None,4),dtype=str)

执行代码后，genfromtxt 第一次正确地从文件中读取信息。但是，对于第二次和第三次调用 genfromtxt，我收到以下警告

UserWarning: genfromtxt: Empty input file: "<itertools.islice object at 0x102d7a1b0>"
warnings.warn('genfromtxt: Empty input file: "%s"' % fname)

虽然这只是一个警告，但第二次和第三次调用 genfromtxt 返回的数组是空的，并且不包含预期的字符串。如果我注释掉 genfromtxt 的第二次和第三次调用，代码将按预期运行。

据我所知，上述应该有效，但我有点不知所措，为什么它不起作用。想法？

Answer 1

在第一个 genfromtext(好吧，实际上是 islice)之后，文件迭代器到达了文件末尾。因此警告和空数组:后两个 islice 调用使用空迭代器。

您需要使用 f_in.readlines() 将文件逐行读入内存，如 hpaulj's answer 所示。 ，或在后续读取之前添加 f_in.seek(0)，以将文件指针重置回输入的开头。这是一种对内存更友好的解决方案，如果这些文件真的很大，这可能很重要。

# Note: Untested code follows
with open(input_file) as f_in:
    np.genfromtxt(itertools.islice(f_in,2,None,4),dtype=None,delimiter=",")

    f_in.seek(0)  # Set the file pointer back to the beginning
    low = np.genfromtxt(itertools.islice(f_in,3,None,4),dtype=str)

    f_in.seek(0)  # Set the file pointer back to the beginning
    up = np.genfromtxt(itertools.islice(f_in,4,None,4),dtype=str)