python - numpy loadtxt 跳过第一行

Question

当我尝试使用 numpy 的 loadtxt 函数从 CSV 文件导入数据时，我遇到了一个小问题。这是我拥有的数据文件类型的示例。

将其命名为“datafile1.csv”:

# Comment 1
# Comment 2
x,y,z 
1,2,3
4,5,6
7,8,9
...
...
# End of File Comment

我认为适用于这种情况的脚本如下所示:

import numpy as np
FH = np.loadtxt('datafile1.csv',comments='#',delimiter=',',skiprows=1)

但是，我收到一个错误:

ValueError: could not convert string to float: x

这告诉我 kwarg 'skiprows' 没有跳过标题，它跳过了第一行评论。我可以简单地确保 skiprows=3，但复杂的是我有非常多的文件，这些文件的顶部不一定都有相同数量的注释行。在这种情况下，我如何确保在使用 loadtxt 时只获取实际数据？

附言- 我也对 bash 解决方案持开放态度。

Answer 1

使用生成器表达式手动跳过注释行:

import numpy as np

with open('datafile1.csv') as f:
    lines = (line for line in f if not line.startswith('#'))
    FH = np.loadtxt(lines, delimiter=',', skiprows=1)