python - 在使用 numpy 读取 txt 文件时跳过包含字符串的结尾行以生成数值数组

Question

我正在尝试生成一个从 Internet 读取文本文件的数组。

我的目标是使用 Python 而不是 MATLAB，在 MATLAB 中替换这一步:

url=['http://www.cdc.noaa.gov/Correlation/amon.us.long.data'];
urlwrite(url,'file.txt');

我正在使用这段代码:

urllib.urlretrieve('http://www.cdc.noaa.gov/Correlation/amon.us.long.data', '/Users/epy/file2.txt')
a = np.loadtxt('/Users/epy/file2.txt', skiprows=1, dtype=None)

但由于文件末尾的文本描述而失败。

你知道是否存在一种方法可以跳过最后的 X 行，或者我必须使用某种字符串操作(readlines？)来代替吗？

Answer 1

对于更复杂的文本加载，请查看 numpy.genfromtxt .

它比 numpy.loadtxt 慢，但更灵活。

在您的情况下(我避免在此处保存临时文件...):

import numpy as np
import urllib2

url = 'http://www.cdc.noaa.gov/Correlation/amon.us.long.data'
data = np.genfromtxt(urllib2.urlopen(url), skip_header=1, skip_footer=4)