python - Sqlite3 比 grep 慢 6 倍

Question

我有一个包含 1.88 亿行的表格和一个包含 1.88 亿行的文本文件，如下所示:

CREATE TABLE trigram (count integer, A text, B text, C text)
time echo 'select * from trigram where C="mailman";'|sqlite3 3g.db
18.419 seconds.
time grep 'mailman$' N-Grams/3g
3.137 seconds

或更复杂的查询，如

time grep 'the [^ ]* mailman$' N-Grams/3g 
2.879 seconds
time echo 'select * from trigram where A="the" and C="mailman";'|sqlite3 3g.db
15.839 seconds

有什么方法可以加快 sqlite3 的速度吗？

Answer 1

创建索引:

CREATE INDEX idx_trigram_col_c ON trigram(C);

然后重试。

您可以使用覆盖索引在第二个查询上获得更快的速度:

CREATE INDEX idx_trigram_col_c ON trigram(C, A);

或

CREATE INDEX idx_trigram_col_c ON trigram(A, C);

(如果列有不同的分布，则将具有更多值的列放在第一位)。