python - 加载一个非常大的文本文件并进行转置

Question

我有一个制表符分隔的 .txt 文件，它将数字保存为矩阵。行数为 904,652，列数为 26,600(制表符分隔)。文件的总大小约为 48 GB。我需要将此文件作为矩阵加载并进行矩阵转置以提取训练和测试数据。我正在使用 Python、pandas 和 sklearn 包。我有 500GB 内存服务器，但用 pandas 包加载它是不够的。谁能帮我解决我的问题？

加载代码部分如下:

def open_with_pandas_read_csv(filename):
    df = pandas.read_csv(filename, sep=csv_delimiter, header=None)
    data = df.values
    return data

Answer 1

如果你的服务器有 500GB 的内存，你应该没有问题使用 numpy 的 loadtxt方法。

data = np.loadtxt("path_to_file").T