apache-flink - 获取服务 : AmazonKinesis; Status Code: 502 with apache-flink and localstack Kinesis

Question

我的本​​地设置包括 local apache-flink(通过 brew 安装)和运行 Kinesis 服务的 localstack。

我的 docker-compose 有

  localstack:
    image: localstack/localstack:0.10.7
    environment:
      - SERVICES=kinesis
    ports:
      - "4568:4568"

和我的 Kinesis 消费者:

kinesisConsumerConfig.setProperty(ConsumerConfigConstants.AWS_ACCESS_KEY_ID, "123");
kinesisConsumerConfig.setProperty(ConsumerConfigConstants.AWS_SECRET_ACCESS_KEY, "123");
kinesisConsumerConfig.setProperty(ConsumerConfigConstants.AWS_ENDPOINT, "http://localhost:4568");

但是当我运行 Flink 程序时出现这个错误:

Caused by: org.apache.flink.kinesis.shaded.com.amazonaws.services.kinesis.model.AmazonKinesisException: null (Service: AmazonKinesis; Status Code: 502; Error Code: null; Request ID: null)

只有在使用 localstack 时才会发生。如果我在我的 AWS 账户上连接到我的 Kinesis 流，它会完美运行。

Answer 1

在将 FlinkKinesisConsumer 添加为源之前添加这些行:

System.setProperty("com.amazonaws.sdk.disableCbor", "true") System.setProperty("org.apache.flink.kinesis.shaded.com.amazonaws.sdk.disableCbor", "true ")

这与导出 ENV 变量具有相同的效果，但在代码中使用它可以减少设置环境所花费的时间。