mysql - 如何使用开源 kafka connect 从 Aurora 连接 MSK

Question

我必须将我的 CDC 更改从 Aurora mysql 数据库转移到 MSK kafka 主题。我认为 aws 中没有像 DMS 这样的内置机制，可以将所有 CDC 从 Aurora 下沉到 MSK 主题，并且在他们的文档中，他们没有提到对此的任何支持。

所以我只能使用开源的东西了。要使用它，我有几个问题，请帮助我解决这个问题。

1. 我做了一些搜索，到处都看到 kafka-connect-jdbc。所以首先这是这个开源免费许可证？
2. 我也见过 debezium one，它将 mysql 连接到 msk。

3. Aurora 记录将是文本，我需要将记录作为 JSON 放入 MSK，所以我必须使用架构注册表？ schemaregistry 是免费许可证还是开源的，还是自带 MSK kafka？

4. 如果我必须使用 confluence 或 debezium 的 kafka -connect，我需要 EC2 实例。在这我需要安装什么？仅使用 kafka 或使用 kafka confluence 和 Debezium。

请建议一些免费许可证和开源的东西。

Answer 1

1) 如果您想在 Zookeeper、Apache Kafka 代理和基本 Kafka Connect 之外使用 Confluence Platform 组件(例如 JDBC 连接器插件)，请阅读 https://www.confluent.io/confluent-community-license-faq/

2) Debezium 应该可以正常工作。它遵循 Apache 2.0 许可证；您可以使用 Apache Kafka，而不是 Confluence 平台的其余部分

3a) Schema Registry 只能存储 Avro，不能存储 JSON。因此你不需要它。 3b) 请参阅 1 了解架构注册表许可

4) 您将需要 EC2 或通过 ECS/EKS 使用 Docker Kafka Connect/Debezium 容器。

还有其他选项可以将 CDC 转换为 Kafka，我知道其中一些是开源的，甚至是商业支持的，但在这里列出它们太宽泛了。

<小时/>

关于内置的AWS服务，您可以在Aurora表上触发lambda函数来执行您想要的任何操作

https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/

Lambda 可能已经/最终会集成 MSK