Python:读取文件以将数据存储在数组中的有效方法

Question

这个问题已经有答案了:

Using pandas to efficiently read in a large CSV file without crashing (2 个回答)

已关闭 5 年前。

我有一个具有以下结构的txt文件:

@<TRIPOS>MOLECULE
2bsm_lig.pdb
45 47 0 0 0
SMALL
USER_CHARGES

@<TRIPOS>ATOM
  1 CL25       43.5837   12.4179   37.4396    Cl      1  BSM1       -0.1770
  2 N1         40.4187    9.0729   42.8516    N.ar    1  BSM1        0.2996
  3 H1         40.0025    9.0411   43.7713    H       1  BSM1        0.2700

第一行只是标题。忘记他们吧。

第二、第三和第四列是(x，y，z)空间坐标，我想将它们存储在单维向量中，如下所示:

[43.5837, 12.4179, 37.4396, 40.4187, 9.0729, 42.8516, 40.0025, 9.0411, 43.7713]

我已经使用 Pandas(在 Python 3 上)完成了此操作，但对于我的程序来说太慢了，因为此操作将在一个大循环上执行。您知道读取这些数据并将其存储在一个数组中的最有效方法吗？我可以存储在单个列表或 numpy 数组中。

Answer 1

这个有详细解答here和 here已经。

pandas 可以使用 chunksize 参数灵活地以小块的形式读取大数据集。

你可以尝试这样的事情:

chunk_df = read_csv(<your_file_here>, iterator=True, chunksize=10000)  # Return TextFileReader object for iteration. See the IO Tools docs for more. 

Official documentation .