python - 在 Python/Pandas 中读取带有缺失值的空格分隔文件

Question

我正在尝试使用 panda 的 read_csv 在 Python 中读取一个以空格分隔的文件。它通过指定 delimiter=""来工作。当列中存在某些缺失值时会出现问题，因为它通过将缺失值视为分隔符来忽略缺失值。

有没有办法解决这个问题？

1600    1141.0000  020006        600    1141.0000    69.0000   OAUC     0.0000   
   1    1070.5000  020032          1    1070.5000   400.0000            0.0000

您可以看到在值为 OAUC 的列中有一个缺失值。列之间的间距不均匀，这使得它变得更加困难。此外，列是固定的，因此有可能发现某些值缺失，但目前还无法找出缺失的值。

Answer 1

我同意 Justin 的观点，首先清理它是确保正确处理的最佳方法。如果您可以浏览结果以验证质量控制，那么在这种情况下，这种黑客可能会完成工作。

pd.read_csv(header=None, sep='\s{1, 7}')

我再说一遍，这不是个好主意。如果您只想加载一个较小的数据集，它就可以完成工作。但如果您无法验证它是否有效，最好使用 read_fwf 并仔细指定 colspecs，或者按照 Justin 的建议清理文件。