performance - 加速 Redshift COPY 加载

Question

我正在使用 list 通过 COPY 命令将文件加载到 Redshift。这些文件在 S3 中。不幸的是，每个表大约有 2,000 个文件，所以就像

users1.csv.gz、users2.csv.gz、users3.csv.gz、users4.csv.gz 等

我不知道这是否重要，因为文件是用 list 加载的，而 list 应该将其并行化。话虽这么说，加载表格真的很慢，我需要加快速度。

我可以做些什么来加快速度？

Answer 1

在我的例子中，我导入了许多小表(约 100 个表，每个表少于 1k 行)。在这种情况下，添加以下选项确实有所帮助:

COMPUPDATE OFF

和

STATUPDATE OFF

• documentation for COPY
• documentation for COMPUPDATE .
• documentation for STATUPDATE

请记住，这会跳过自动压缩和统计更新。有关此操作的确切后果，请参阅文档。