sql - 在包含万亿字节数据的 postgres 关系表上运行 select 命令

Question

我在 3 TB 的 postgres 中有一个关系表。现在我想将其内容转储到一个 csv 文件中。为此，我遵循教程:http://www.mkyong.com/database/how-to-export-table-data-to-file-csv-postgresql/

我的问题是在指定必须导出到的文件和选择语句之后。 Postgres 显示“已杀死”。是因为关系表是 3TB 吗？如果是，那么我应该如何将我的数据从 postgres 导出到另一个文件(txt 或 csv 等)。如果不是，那么我应该如何找出 select 命令被杀死的可能原因。

Answer 1

Killed 表示您正在运行的系统上通过内存过度提交设置启用了内存不足 killer (OOM killer )。 This isn't recommended by the manual .

如果您禁用过度使用，您将向客户端收到更整洁的“内存不足”错误，而不是 sigkill 和服务器重新启动。

至于 COPY ... 你在运行 COPY (SELECT ...) 吗？或者只是 COPY tablename TO .... ？尝试不带查询的直接复制，看看是否有帮助。

诊断故障时，您应该查看 PostgreSQL 错误日志(它会告诉您更多有关此问题的信息)和系统日志，例如内核日志或 dmesg 输出。

当在 Stack Overflow 上询问有关 PostgreSQL 的问题时，始终包括来自 select version() 的确切服务器版本、确切的命令文本/代码运行、任何错误消息的确切未编辑文本，等等