amazon-web-services - AWS Kinesis Firehose 未在 Redshift 中插入数据

Question

我尝试使用 Kinesis Firehose 在 Redshift 表中推送数据。

Firehose 流正在工作并将数据放入 S3。

但是 Redshift 中的目标表中没有任何内容。

• 在指标 DeliveryToRedshift Success 中为 0(DeliveryToRedshift 记录为空)
• 加载日志(redshift Web 控制台)和 STL_LOAD_ERRORS 表为空。
• 我检查了 Firehose 是否能够连接到 Redshift(我在 STL_CONNECTION_LOG 中看到了连接)

如何解决此问题？

Answer 1

最后，我通过删除并重新创建 Firehose 流使其工作:-/可能是通过网络控制台的重复编辑使事情变得不稳定。

但以下是故障排除指南:

• 以下过程是一个很好的起点:http://docs.aws.amazon.com/firehose/latest/dev/troubleshooting.html
• 检查数据是否到达 S3
  • 必须有一个用于 firehose 交付的 IAM 角色，且 firehose 服务与此角色之间存在信任关系
  • 此 IAM 角色必须具有 S3 访问策略
  • 请参阅此处的政策 json:http://docs.aws.amazon.com/firehose/latest/dev/controlling-access.html#using-iam-s3
• 此时，Firehose 监控中的“DeliveryToS3 Success”指标应为非零
• Redshift 集群必须可公开访问(请参阅集群 Web 控制台)
• 集群的安全组必须允许来自 Firehose IP 地址的入站流量:Firehose 目前对每个可用的 AWS 区域使用一个 CIDR block :
  • 美国东部(弗吉尼亚北部)52.70.63.192/27
  • 美国西部(俄勒冈州)52.89.255.224/27
  • 欧盟(爱尔兰)52.19.239.192/27
• 仔细检查您提供给 Firehose 的 redshift 用户/密码

• 此时，您应该能够在 Redshift 日志中看到连接尝试:

  select * from stl_connection_log where remotehost like '52%' order by recordtime desc;  
  

• 检查 Firehose 使用的 Redshift 用户对目标表是否有足够的权限:

  select tablename, 
     HAS_TABLE_PRIVILEGE(tablename, 'select') as select,
     HAS_TABLE_PRIVILEGE(tablename, 'insert') as insert,
     HAS_TABLE_PRIVILEGE(tablename, 'update') as update,
     HAS_TABLE_PRIVILEGE(tablename, 'delete') as delete, 
     HAS_TABLE_PRIVILEGE(tablename, 'references') as references 
  from pg_tables where schemaname='public' order by tablename;
  

• 然后您可以检查 COPY 命令是否运行:

  select * from stl_query order by endtime desc limit 10;
  

• 然后检查加载错误或服务器错误:

  select * from stl_load_errors  order by starttime desc;
  select * from stl_error where userid!=0 order by recordtime desc;
  

• 如果您的数据或复制选项存在格式问题，或者数据与目标列不匹配，您至少应该看到复制尝试和一些加载错误。

• 如果您仍然陷入困境，并且这些日志表中没有出现任何内容，请尝试删除并重新创建整个 Firehose 流，因为可能存在一些与 Web 控制台相关的错误。 (这一步对我有用)