amazon-redshift - 使用 AWS RedshiftBasicEmitter 时出现 S3ServiceException

Question

我正在使用来自 GitHub 的示例 AWS kinesis/redshift 代码。我在 EC2 实例中运行代码并遇到以下异常。请注意，从 Kinesis 发射到 S3 实际上成功了。但是从 S3 到 Redshift 的发射失败了。由于同一程序中的两个发射器使用相同的凭据，我很困惑为什么只有一个失败!？

我知道大多数人收到“您提供的 AWS 访问 key ID 在我们的记录中不存在”异常可能在正确设置 S3 key 对时遇到问题。但这里似乎并非如此，因为发送到 S3 成功了。如果凭据没有读取访问权限，则应改为引发授权错误。

如果您有任何见解，请发表评论。

2014 年 3 月 16 日上午 4:32:49 com.amazonaws.services.kinesis.connectors.s3.S3Emitter 发射
INFO:成功发射的31个记录S3在S3://mybucket/495362565978733426345566872055061454326385819810529281-49536256597873342638068737503047822713441029589972287489
2014 年 3 月 16 日上午 4:32:50 com.amazonaws.services.kinesis.connectors.redshift.RedshiftBasicEmitter executeStatement
重度:org.postgresql.util.PSQLException:ERROR:S3ServiceException:AWS的访问 key 您提供我们的记录不存在，状态403，错误InvalidAccessKeyId，摆脱5TY6Y784TT67，ExtRid qKzklJflmmgnhtttthbce + 8T0NIR/sdd4RgffTgfgfdfgdfgfffgghgdse56f，CanRetry 1
细节:
-----------------------------------------------
错误:S3ServiceException:您提供的 AWS 访问 key ID 在我们的记录中不存在。，状态 403，错误 InvalidAccessKeyId，Rid 5TY6Y784TT67，ExtRid qKzklJflmmgnhtttthbce+8T0NIR/sdd4RgffTgfgfdfgdfgffry67，
代码:8001
上下文:列表存储桶=mfpredshift 前缀=49536256597873342637951299872055061454326385819810529281-495362565978733426380687373782782737827827878282
查询:3464108
位置:s3_utility.cpp:536
进程:padbmaster [pid=8116]
-----------------------------------------------

2014 年 3 月 16 日上午 4:32:50 com.amazonaws.services.kinesis.connectors.redshift.RedshiftBasicEmitter 发射
重度:java.io.IOException异常:org.postgresql.util.PSQLException:ERROR:S3ServiceException:AWS的访问 key 您提供我们的记录不存在，状态403，错误InvalidAccessKeyId，摆脱5TY6Y784TT67，ExtRid qKzklJflmmgnhtttthbce + 8T0NIR/sdd4RgffTgfgfdfgdfgfffgghgdse56f。 ,可以重试 1
细节:
-----------------------------------------------
错误:S3ServiceException:您提供的 AWS 访问 key ID 在我们的记录中不存在。，状态 403，错误 InvalidAccessKeyId，Rid 5TY6Y784TT67，ExtRid qKzklJflmmgnhtttthbce+8T0NIR/sdd4RgffTgfgfdfgdfgffry67，
代码:8001
背景: list 桶= mybucket PREFIX = 495362565978733426345566872055061454326385819810529281-49536256597873342638068737503047822713441029589972287489
查询:3464108
位置:s3_utility.cpp:536
进程:padbmaster [pid=8116]
-----------------------------------------------

Answer 1

我遇到了同样的错误。我正在使用 IAM 角色来获取凭证。就我而言，它是通过修改 RedshiftBasicEmitter 解决的添加 ;token=TOKEN至 CREDENTIALS参数(最后我创建了自己的 IEmitter )。

见 http://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html