apache-kafka - 在没有 Confluent Schema Registry 的情况下在 KafkaConnect 中使用 Avro

Question

我们在当前的基础设施中设置了 vanilla apache Kafka，我们开始记录一些我们想要使用 Kafka Connect 处理的数据。目前我们使用 Avro 作为我们的消息格式，但我们的基础设施中没有 Schema Registry。
将来，我们计划用 Confluent 替换当前堆栈并使用 Schema Registry 和 Connect，但有一段时间我们只需要为此部署 Connect。

是否可以以某种方式配置 Connect 接收器，以便它们使用显式的 avsc 文件或架构，而无需连接到架构注册表，也不使用具有魔术字节和架构 ID 的 Confluent 格式？

Answer 1

是的，可以使用 registryless-avro-converter在 Github 上。
按照那里的构建说明，将 JAR 添加到您的 plugin.path加载其他连接器时的文件夹，然后像这样设置

key.converter=me.frmr.kafka.connect.RegistrylessAvroConverter
key.converter.schema.path=/path/to/schema/file.avsc
value.converter=me.frmr.kafka.connect.RegistrylessAvroConverter
value.converter.schema.path=/path/to/schema/file.avsc

请注意，这将要求您在 上存储/维护/同步架构文件。所有 Connect 员工 ， 然而

或者，您可以使用 vanilla Kafka 设置架构注册表 - 没有理由进行一些“融合迁移”，因为除了您的序列化程序和反序列化程序配置之外，注册表不需要任何基础架构更改。