python - 创建索引时 db 文件大小 > 2GB 的 sqlite 内存使用问题

Question

我有一个包含两个表的简单 sqlite 数据库。

Table 1:
    Col1: int index; 
    Col2: text; 
    Col3: int;
Table 2:
    Col1: int; 
    Col2: int;  
    Col3: int;

第一个表高达数百万行。表 2 可以有数亿行。表 1，在输入所有数据后对 Col2 进行索引。还为表 2 col1、col2 创建了索引。

当数据库文件较小 - < 3.5GB 时，索引创建工作正常。当数据库文件系统 > 3.5GB 时，我会看到内存错误。

这是 Linux 系统，在 32 位内核上，文件大小 >2GB 似乎会导致在创建索引时出现内存错误。在 64 位内核上，限制为 > 3.5GB。

在“top”程序中，我看到 VM 和 RSS 在 64 位系统上的使用量在它死之前上升到 3.5GB。

有人看过吗？关于如何解决该问题的任何建议。是否有人对 sqlite 的多 GB 文件大小 + 索引创建感到幸运？

Answer 1

使用较新的 SQLite 版本以避免占用内存。 (3.7.16 适合我。)

确保/tmp 上有足够的可用空间，或者将TMPDIR 移到别处。