apache-kafka - 添加额外的 Schema Registry 层会影响好处吗？

Question

在生成/消费者消息时添加模式注册表的附加层(也称为故障点)有什么好处吗？如果服务出现故障，则不会使用或生成消息。如果不使用 Schema Registry，那么使用 Kafka 的系统会不会更不容易出错，从而减少一个故障点？

Answer 1

在您的架构中使用模式注册表的一个关键点是确保您的数据管道“即使在正常操作期间”也能端到端地工作。

也就是说，即使所有系统都启动并运行(“全部绿色，100% 正常运行时间!”)，例如，由团队 A 管理的生产者应用程序可能会更新并立即启动生成不兼容的数据，从而对 B 和 C 团队管理的下游消费者造成附带损害，他们没有预料到这种变化。

因此，当您决定是否使用模式注册表时，您不仅应该问自己“当事情失败时”的场景(这很可能会在某个时候发生，这就是为什么例如 Confluent Schema Registry 支持诸如高可用性设置之类的功能)，还有关于数据管道正常工作所需的保证。

If the service ever goes down, then messages won't be consumed or produced.

一般来说，是的。在实践中，模式注册服务的高可用性模式、模式的客户端缓存等功能都有助于最大限度地减少此类损害。

Wouldn't the system using Kafka less prone to errors by not using Schema Registry which gives one less point of failure?

您是对的，一般来说，您希望避免引入会成为链中另一个故障点的组件。

也就是说，如果您在生产环境中运行数据管道——尤其是在较大的组织中——架构注册表还可以通过确保写入的数据也始终可以读取来帮助消除“故障点”。有人可能会争辩说，由“数据更改”引发的故障至少与由一个或多个系统不可用引发的故障一样常见。