python - InternalError_ : Spectrum Scan Error. S3 到 Redshift 复制命令

Question

我正在尝试使用 COPY 命令将一些数据从 S3 存储桶复制到 Redshift 表。文件的格式是PARQUET。当我运行执行 COPY 命令查询时，我收到 InternalError_: Spectrum Scan Error。



这是我第一次尝试从 Parquet 文件复制。

如果有解决方案，请帮助我。我在 python 中使用 boto3。

Answer 1

这通常是由于以下原因而发生的:

如果表和文件之间的列数不匹配。

如果文件架构的列类型与目标表列类型不兼容。

尝试进入错误日志。您可能会发现云表部分登录。从您上传的屏幕截图中，您还可以找到您运行的查询编号。

到 aws redshift 查询编辑器并运行以下查询以获取完整日志:

select message 
from svl_s3log 
where query = '<<your query number>>'
order by query,segment,slice; 

希望这可以帮助 !