scala - 从数据帧制作 avro 模式 - spark - scala

Question

我想写一个流dataframes进入 kafka在 avro格式;

我认为我应该发布 dataframe架构到 schema registry作为 avro schema 然后将 DF 流写入 kafka，指定该模式作为选项。

所以我需要知道如何推断 avro来自 dataframe 的架构能够在 schema registry 中发布它.

如果有另一种方式，我会很感激

Answer 1

有几点需要先澄清:

您不必发送 Avro 架构。如果您使用 Kafka-Spark Integration ，它会为你做的。您需要编写一些配置，例如:

props.put("value.deserializer", "io.confluent.kafka.serializers.KafkaAvroDeserializer");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("schema.registry.url", "http://localhost:8081 ");

您可以将 DF 直接写入 Kafka，甚至可以从应用于您的数据帧的查询中写入。您可以查看 documentation 中显示的示例关于为流式查询创建 Kafka Sink。