database - PostgreSQL 中是否有针对大型二进制数据的透明重复数据删除？

Question

我们有一个应用程序将大型二进制数据作为大型对象存储在 PostgreSQL 数据库中，现在有一个用例，在该用例中，我们以这样一种方式操作该数据，即我们知道部分已保存的数据将再次保存只是组合略有不同。我们实际上要拆分一些文件并以不同的方式组合它们，但是除了新组合的文件之外，还想保留原始文件。

这听起来像是考虑重复数据删除的一个很好的用例。您是否知道任何在 Postgres 中直接和透明地工作的东西，这样我们就不需要重新发明轮子了？添加到 Postgres 的存储层或插件之类的东西，以便它自己处理至少整个数据库的重复数据删除？或者也许一些库作为我们的应用程序可以使用的 Postgres 大对象函数的包装器，包装器库完成所有复制部分，也许添加一些表格用于簿记和所有这些东西？

我们知道支持重复数据删除的文件系统，一种可能性是将它们用作 Postgres 数据存储的后端。另一种选择是将新数据保存在 Postgres 之外的重复数据删除文件系统中。但现在我们更喜欢 Postgres 中的东西，它可以很容易地转储并由事务等支持。

感谢任何提示!

Answer 1

不，没有(无论如何从 9.4 开始)。

PostgreSQL 压缩每个单独的项目，但不执行任何跨项目压缩或重复数据删除。

TOAST 机制意味着 PostgreSQL 应该能够通过一些努力来删除 TOATable 类型中的重复值，这只是实现它的问题。

欢迎打补丁;-)