python - 为什么在具有相同硬件的不同计算机上读取sqlite数据库速度较慢？

Question

好的，所以我正在观察某些我肯定会称之为“意外”的行为，并且我很好奇是否有人可以提供并了解地球上正在发生的事情。我会尽量保持简洁...

我有一个sqlite数据库，我正在使用Python（150k行，11个表）访问该数据库，以进行神经网络训练。两端无关紧要，但这意味着我的数据点以较大的blob的形式存储在一个表中，并且数据库大约为5GB。因为我只提取某些行（由于交叉验证或其他类型的过滤），所以我发现在某些有意义的列上建立索引可以显着提高速度。当阳光明媚时，我可以在2秒钟左右选择，获取并格式化大约500个数据点。这很棒。

但是，正如熟悉神经网络/反向传播软件/ SGD的任何人都可以证明的那样，根据数据和架构的不同，此过程可能会花费很长时间。为了使事情达到最佳并行化，我已购置了多台机器（Mac Pro，8GB RAM，16个知道速度的内核），以便在不同条件下以不同线程启动训练方案。由于内存的限制，上限大约是6或7个独立的线程，每个线程都访问同一数据库文件。现在，据我所知，这些机器是相同的。

这就是奇怪的地方。最初，我的基准计算机上的性能非常出色，并且并行线程数从未使速度变慢（一个线程与七个线程基本相等）。当我第一次将此数据库文件复制到其他计算机（并重新创建索引）时，一个速度与基准速度相同，但另一个速度则比基准速度快两倍。我当时（当时）认为这是硬件差异，然后继续生活。然后，修改了sqlite数据库并重新复制到所有计算机后，它现在在以前速度较慢的计算机上速度很快，而所有其他计算机的性能（包括基准）则较慢。

我不明白我对所有实例都做了同样的事情。数据库文件在复制时是相同的，然后删除/创建相同的索引，因为我敢肯定sqlite索引是指磁盘上的绝对位置。我在Unix环境中，因此文件碎片不应该成为罪魁祸首（对吗？）。并发在某些配置中似乎不是问题，而其他配置则会导致瓶颈。从那以后我检查了一下，发现机器实际上在纸上是一样的。对我来说，最令人困惑的部分是，在一台机器的配置中性能是不同的。

我真的很茫然。任何方向都将不胜感激。我绝不是精通关系数据库编程，但是在这一点上我没有想法。

更新：我可能已经“解决”了我的问题，但是这个问题绝没有得到解决。我发现，如果我基本上在每个系统上重新启动数据库文件，则最终可以使机器之间的性能相同。该过程类似于...

    while unhappy:
 1. Drop all indexes
 2. Create new indexes
 3. Make a handful of select/fetch calls
 4. Commit / quit / restart

一段时间后，它似乎可以使人满意。不知道为什么。

Answer 1

如果未使用auto_vacuum = FULL运行数据库，则可能是数据库文件中的数据结构有些碎片。您是否尝试在数据库上运行VACUUM？