python - Django:数据库级别或代码级别的TextField(字符串)数据压缩

Question

我制作了我的 Django 模型，在将测试/虚拟记录插入到我的 PostgreSQL 数据库后，我意识到我的数据对于每条记录来说都非常大。所有字段中的数据总和约为每条记录 700 KB。我估计我将拥有大约 500 万条记录，因此这将在 3350 GB 左右变得非常大。我的大部分数据都是大型 JSON 转储(每个字段大约 70+ KB)。

我不确定在通过 Django 框架处理时 PostgreSQL 是否会自动压缩我的数据。我想知道在将数据输入数据库之前是否应该压缩数据。

问题:当使用 Django 模型字段类型 TextField 时，PostgreSQL 会使用一些 x 压缩算法自动压缩我的字符串字段吗？

我不应该依赖 PostgreSQL 而只是预先压缩我的数据然后将其输入数据库吗？如果是这样，我应该使用哪个压缩库？我已经在 Python 中尝试过 zlib 并且看起来很棒，但是，我读到还有 gzip 库，我很困惑哪个是最有效的(就术语而言压缩和解压缩速度以及压缩百分比)。

编辑:我正在阅读 this Django snippet for CompressedTextField这让我对使用哪个压缩库感到困惑。我看到一些人使用 zlib 而一些人使用 gzip。

编辑 2:This stackoverflow question表示 PostgreSQL 会自动压缩字符串数据。

编辑 3:PostgreSQL 使用 pg_lzcompress.c 进行压缩，它是 LZ 压缩系列的一部分。是否可以安全地假设我们不需要在 TextField 本身上使用某种其他形式的压缩(zlib 或 gzip)，因为它数据库本身的数据类型是 text(可变长度字符串)吗？

Answer 1

是的，postgresql 将压缩大文本字段，完全独立于您使用它的任何框架。

大字段值使用称为 TOAST 的东西存储.此类属性可能会被压缩，如果太大而无法直接放入列中，它们将被存储在称为 TOAST 表的特殊文件中。

正如您已经确定的那样，使用了 LZ 压缩。这不会提供与某些其他算法一样高的压缩率。但是，如果磁盘空间是您的主要关注点，那么为了您可能获得的 yield ，我怀疑在将数据发送到数据库之前压缩应用程序中的数据是否值得。

您可以通过设置列的存储模式来影响属性的存储。请参阅 ALTER TABLE 手册页上的 SET STORAGE .

PLAIN must be used for fixed-length values such as integer and is inline, uncompressed. MAIN is for inline, compressible data. EXTERNAL is for external, uncompressed data, and EXTENDED is for external, compressed data. EXTENDED is the default for most data types that support non-PLAIN storage.

TEXT 的默认值是 EXTENDED。

不过，您应该考虑一下您的数据将如何使用。将使用什么类型的查询来访问数据？将使用什么过滤条件？它必须通读所有这些大型 TOAST 属性以访问 WHERE 子句中使用的值，然后性能可能很差。