r - 使用 R 将大型 data.frame 保存到 PostgreSQL

Question

我正在将非常大的 data.frame(3000 万行)从 R 保存到 PostgreSQL 数据库，它会杀死我的 PC。由于这是 dplyr 生成的计算结果，我想使用这个包的一些内置功能，但 copy_to 不适用于如此巨大的表。有什么建议么？

Answer 1

您能否将数据帧复制到 csv 或制表符分隔的文本文件，然后使用 COPY FROM 命令 [1] 将其加载到 PostgreSQL 中？这实现了一种执行速度可能更快的批量加载方法。

在某些情况下，可以使用 RScript 将数据作为流发出并将其直接通过管道传输到 psql 中:

<RScript output tab delmited rows> | psql -c "COPY <tablename> (columnlist, ...) FROM STDIN WITH (FORMAT text)"

在一些长时间运行的情况下，我把| pv | 在中间跟踪进度 ( http://www.ivarch.com/programs/pv.shtml )。

[1] http://www.postgresql.org/docs/current/interactive/sql-copy.html