python - 从 COPY 命令返回查询 ID

Question

我有一个 Python 脚本，它使用 psycopg2 执行 COPY 命令以将数据从 S3 复制到 Redshift，这在 cron 计划上运行良好。

现在我想检查数据是否每次都正确加载，并想查询 STL_LOAD_COMMITS 和 STL_LOAD_ERRORS 表。

有谁知道是否有办法获取从COPY 命令返回的查询ID，以便它可以用于查询上面的表并检索相关日志记录？

我不相信 COPY 会返回任何东西，但如果有人发现了一些在代码中检查负载的巧妙方法，我会很感兴趣。

编辑:也许正确的方法是使用文件名而不是查询 ID 进行查询，因为我知道我加载的文件的名称。

select *
from STL_LOAD_COMMITS
where filename in ('s3://bucket/4f737c05-8f16-4ba7-8f50-30423369c389.csv.gz',
's3://bucket/5fe4fea9-a9e4-4622-b9f6-ed3f98f7d1e2.csv.gz')

Answer 1

使用 PG_LAST_COPY_ID() 将返回上次执行的 COPY 查询 ID。

来源AWS Redshift PG_LAST_COPY_ID()