xml - 如何将大 XML 文件 (~10GB) 导入 PostgreSQL

Question

我有一个大约 10GB 的 XML 文件，我不知道文件的内容，但我想将它导入我的数据库以便于查看。

如何将 xml 文件导入我的 PostgreSQL 数据库？ (对于这么大的文件，这甚至可能吗？)

我希望你们能帮助我:)

Answer 1

1. 将 XML 文件转换为 CSV 文件。此外，在转换时，将其拆分为 100Mb-1Gb 的部分以便于批处理。

2. 使用您在 CSV 文件中定义的列创建表格。

3. 使用 COPY 将文件上传到 Postgres命令。这是我所知道的上传大量数据最快的方法。顺便说一句，它也可以通过 Java 完成，使用 CopyManager类。

根据您将要执行的查询类型，您会喜欢创建索引:

1. 这将是最耗时的部分。但是，您可以使用 CREATE INDEX CONCURRENTLY .它允许您在后台创建索引的同时处理您的表。

2. 如果您重复导入过程并且已经创建了表和索引，请在发出 COPY 命令之前删除索引并稍后重新创建它们。这将为您节省很多时间。

3. 如果您仍然对查询速度或索引创建速度不满意，使用 Clickhouse 可能是个好主意反而。但是，这取决于您执行的查询类型。