apache-kafka - AWS MSK 与 Confluent Schema Registry 和 Confluent Kafka 连接如何推荐一起使用？

Question

我们计划将 AWS MSK 服务用于 Managed Kafka 和 Schema Registry 以及来自 Confluent 的 Kafka Connect 服务来运行我们的连接器(Elasticsearch Sink Connector)。我们计划在 EC2 中运行架构注册表和连接器。
根据 Confluent 团队的说法，如果我们使用 MSK for Kafka，他们将无法正式支持 Confluent Schema Registry 和 Kafka Connect。
所以，有谁可以分享他们的经验吗？喜欢
Anybuddy 是否在生产环境中同时使用了 MSK 和 Confluent 服务的组合？
使用这种组合有什么风险吗？
是否推荐使用这种组合？
如果我们在连接器方面遇到任何问题，Confluent 社区将如何支持？
还有其他建议、意见或替代方案吗？
我们已经拥有 Confluent Corporate Platform 许可证，但我们想要托管 Kafka 服务，这就是我们选择 AWS MKS 的原因，因为根据我们的分析，它比 Confluent Cloud 更具成本效益？
请提前分享您的想法和感谢。
谢谢

Answer 1

客观地回答你的问题这是可行的，但这取决于你的主要痛苦在哪里。
从许可的角度来看，没有什么会强制您订阅 Confluent 只是为了使用 Kafka Connect 或 Schema Registry，因为它们分别基于 Apache 许可证 2.0 和 Confluent 社区许可证。
从技术角度来看，您可以在 EC2 上同时运行 Kafka Connect 和 Schema Registry；只要它们与 MSK 集群在同一个 VPC 中运行，它们就会完美运行。
从成本的角度来看，您必须评估由您和/或您的团队管理 Kafka Connect 和 Schema Registry 的成本。不仅要考虑安装和设置阶段，还要考虑管理和发展阶段。软件可能没有任何成本，但操作这些组件的努力可以转化为成本。

How is Confluent community support if we will face any issue with Connectors?

无论您是在 Apache Kafka 用户组还是 Confluent 在 Slack 拥有的社区中寻求帮助，Kafka 社区通常都非常有用。当然，这完全是为了尽力而为，您不能依靠他们来获得支持。可能需要几天时间，一些好心的撒玛利亚人才会决定帮助您。这也转化为成本:降低和/或等待解决方案的成本是多少？
我不再是 Confluent 的员工，因此我什至不会试图说服您从他们那里购买。但是您应该评估成本的这一组成部分，并检查使用 Confluent Cloud 是否不会为您提供更具成本效益的解决方案，因为它包括 Kafka、Kafka Connect 和 Schema Registry 的托管版本。根据我的经验，Confluent Cloud 上的托管 Kafka 并没有那么昂贵，托管模式注册表是“免费的”，但是使用托管连接器的成本可能非常高，而且根据您在托管中配置的任务数量，情况可能会更糟连接器。这是您应该注意的唯一问题。