node.js - 在 Node.js 中使用 SQLite 数据库时避免 SSD 磨损

Question

我有一个大量使用 SQLite 数据库的 Node.js 应用程序，我担心它可能会对我的 SSD 产生影响。

我的应用程序定期更新有关连接到特定服务器的所有客户端的信息。我不想在这里讨论有关客户端和/或服务器的任何细节。

每 5 秒，它为每个连接的客户端执行一次INSERT OR REPLACE。插入新客户端，并将现有客户端的数据替换为更新的数据。单个行包含大约 10kB 的数据，并且一次最多可以连接 5,000 个客户端(= 插入/替换 5,000 行)。

在任务管理器中，我可以看到空闲状态下约 3MB/s 的磁盘使用率，更新发生时约 6MB/s。

我应该担心 SSD 磨损吗？如果是这样，我怎样才能最大限度地减少磨损？

租用服务器或构建冗余 RAID 之类的选项对我来说并不真正可用，因此我正在寻找软件解决方案。我已经尝试将日志模式设置为WAL，将临时存储设置为内存，但是临时存储 始终恢复为默认，而 WAL 日志模式 在这方面似乎没有太大作用。

我已经使用了事务，但恐怕不足以解决问题。另一个明显的解决方案是降低频率，但这对我来说并不是真正的选择，因为我需要一个包含尽可能最新数据的数据库。

我知道可以选择使用 :memory: 进行内存数据库，但我必须跨 session 存储客户端数据。我需要在应用程序初始化时从磁盘加载现有的客户端数据，还需要定期将数据库的当前状态保存到磁盘，以避免在断电、意外的 Windows 更新或类似情况下丢失数据。考虑到这些事件发生的可能性很小，例如，每小时一次将这些备份到磁盘是可以的。

有什么方法可以将数据库大部分保留在内存中，并且仅在初始化期间以及每小时左右将其与物理磁盘上的版本同步吗？

Answer 1

仅当事务提交时，更改的数据才会刷新到磁盘，因此最重要的是将尽可能多的语句放入单个事务中。 (你说你已经在这样做了。)
如果您想将更改的数据保留在内存中并稍后写入磁盘，只需稍后提交即可。

使用 WAL 模式时，更改的页面只是附加到 -wal 文件中(而不是写入主数据库文件中的随机位置)。这在 SSD 上更容易(尽管您会注意到速度差异很大)，因此您应该启用 WAL 模式。

为了防止 -wal 文件变得太大，SQLite 有时会将每个页面的最新版本移回主数据库文件(这称为 checkpoint )。发生这种情况automatically当达到一定的页数时；要减少这些写入，请增加 auto-checkpoint interval尽可能大的值(取决于您拥有的可用空间)，或者完全禁用它并手动执行检查点。

除非数据库确实需要写入临时文件，否则 temp_store 设置无效。

如果每个步骤最终都会修改表中的大部分或所有行，您也许可以通过使用更大的 page_size 来减少开销。 ;尝试 64 KB。 (但是，如果您仅更改一小部分行，则较大的页面大小只会增加数据库的 write amplification 。)

<小时/>

500 GB 850 EVO guarantees耐用性为 150 TBW(写入 TB)。平均 2.3 MB/s，相当于两年多的时间。