python - Python 中的内存问题。词典与数据库(或者你能把两者结合起来吗？)

Question

我正在尝试为大量输入寻找单词模式。为此，我使用了字典，几个小时后，程序因 MemoryError 而崩溃。

我修改了程序。我通过 MySQLdb 创建了一个数据库，并在其中插入了 pattern-index 的值。因此，对于每个单词，我检查它是否在索引中，如果不在，我将其写入带有值的索引中。问题是数据库方法太慢了。

我想知道是否有任何方法可以结合字典和数据库，例如:

if ram <90% usage:
    seek into dict
    append to dict
else:
    if not (seek into dict):
        seek into database
        append to database

将字典用于输入 100 kb 数据的相同目的需要大约 1.5 秒

对相同的输入使用数据库需要大约 84 秒

原始输入为 16 GB。我还不知道需要多少时间来处理。

Answer 1

简答(详细答案待定):

您对 MySQL 的使用很差，您根本不想提交，因为您只是将数据库用作内存的扩展。仅删除提交应该会给您带来很大的改进

比使用 MySQL 使用更好 leveldb (pip install leveldb) with sync = false

根据您要使用的内存调整以下值

• block_cache_size = 512*1024*1024 #512Mo #越重要
• write_buffer_size = 10*1024*1024 #10Mo

因为你有一个 MemoryError，这意味着你有一个 32 位系统，这意味着为一个进程启用的总内存不能超过 4 Go，所以调整值以适应 min(你的系统内存，4Go)