postgresql - Postgres 的内置 PGLZ 压缩与 GZIP 相比如何？

Question

通过阅读一些关于 TOAST 的内容我了解到 Postgres 使用 LZ 系列压缩算法，它称为 PGLZ。对于大于 2KB 的值，它会自动启动。

PGLZ 在速度和压缩率方面与 GZIP 相比如何？

我很想知道 PGLZ 和 GZIP 是否具有相似的速度和压缩率，以至于在将大的 JSON 字符串作为数据插入 Postgres 之前执行额外的 GZIP 步骤是不必要的还是有害的。

Answer 1

它明显更快，但压缩率低于 gzip。它针对降低 CPU 成本进行了优化。

假设您不需要直接在数据库中操作它，或者不介意必须使用函数来解压缩它，那么在将大数据存储到 bytea 字段之前肯定有一个地方可以对它进行 gzip 压缩第一的。如果您必须在数据库中执行此操作，您可以使用 plpython 或 plperl 之类的东西来执行此操作，但通常在应用程序中执行此操作更方便。

如果您要努力进行额外的压缩，请考虑使用更强的压缩方法，例如 LZMA。

---

PostgreSQL 中的 TOAST 已努力添加对 gzip 和/或 LZMA 压缩的支持。这样做的主要问题是我们需要保持与旧版本磁盘格式的兼容性，确保它在未来保持兼容等。到目前为止，还没有人提出让相关核心团队成员满意的实现。参见例如pluggable compression support .它往往会陷入可插入支持被拒绝的 catch-22(请参阅该线程了解原因)但没有人能就我们应该采用的合适的软件专利安全算法达成一致作为新的默认方法，就如何更改达成一致处理多种压缩方法等的格式。