python - 处理太大而无法存储在内存中的文件？

Question

我有一个 20 GB 的文件，如下所示:

Read name, Start position, Direction, Sequence

请注意，读取名称不一定是唯一的。

例如我的文件片段看起来像

Read1, 40009348, +, AGTTTTCGTA
Read2, 40009349, -, AGCCCTTCGG
Read1, 50994530, -, AGTTTTCGTA

我希望能够以允许我的方式存储这些行

1. 保持文件根据第二个值排序
2. 遍历排序后的文件

数据库似乎可以用于此。

文档似乎暗示 dbm不能用于对文件进行排序和迭代。

因此我想知道是否 SQLite3将能够执行 1) 和 2)。我知道我将能够使用 SQL 查询对我的文件进行排序，并使用 sqlite3 遍历结果集。但是，我是否能够在 4gb RAM 计算机上的内存不足的情况下执行此操作？

Answer 1

SQLite is able同时执行 1) 和 2)。

我建议您尝试一下并报告您遇到的任何问题。

With the default page size of 1024 bytes, an SQLite database is limited in size to 2 terabytes (2⁴¹ bytes). And even if it could handle larger databases, SQLite stores the entire database in a single disk file and many filesystems limit the maximum size of files to something less than this. So if you are contemplating databases of this magnitude, you would do well to consider using a client/server database engine that spreads its content across multiple disk files, and perhaps across multiple volumes.