python - 将大量 csv 文件导入 PostgreSQL 数据库的有效方法

Question

我看到很多将 CSV 导入 PostgreSQL 数据库的示例，但我需要的是一种将 500,000 个 CSV 导入单个 PostgreSQL 数据库的有效方法。每个 CSV 略多于 500KB(总计约 272GB 的数据)。

CSV 格式相同，没有重复记录(数据是从原始数据源以编程方式生成的)。我一直在搜索并将继续在线搜索选项，但如果能以最有效的方式完成这项工作，我将不胜感激。我确实有一些使用 Python 的经验，但会深入研究任何其他似乎合适的解决方案。

谢谢!

Answer 1

如果您从阅读 PostgreSQL guide "Populating a Database" 开始你会看到几条建议:

1. 在单个事务中加载数据。
2. 尽可能使用COPY。
3. 在加载数据之前删除索引、外键约束等，并在之后恢复它们。

PostgreSQL 的 COPY statement已经支持 CSV 格式:

COPY table (column1, column2, ...) FROM '/path/to/data.csv' WITH (FORMAT CSV)

所以看起来您最好根本不使用 Python，或者只使用 Python 来生成所需的 COPY 语句序列。