java - 覆盖数据流中的 AvroIO 默认编码器

Question

我正在尝试使用自定义 Coder 来处理 Dataflow 中的数据。我所做的是:

• 将数据从 BigQuery 导出到 avro 文件
• 使用 avro-tools-1.7.7.jar 从这些文件中的模式自动生成一个类
• 使用 Kryo 为类(class)编写自定义编码器
• 用 @DefaultCoder(MyCustomCoder.class) 注释了类
• 使用 p.getCoderRegistry().registerCoder(MyCustomClass.class, MyCustomCoder.class); 注册了我的编码器
• 使用 PCollection<MyCustomClass> pc = p.apply(AvroIO.Read.named("Name").from("gs://bucket/path/to/*.avro").withSchema(MyCustomClass.class)); 从 avro 文件中读取数据

问题是，如果我的 Coder 中有错误，我的工作只会在洗牌步骤中失败。看起来 Dataflow 没有使用我的自定义 Coder 从 avro 文件加载数据。真的是这样吗？如果是这样，有没有办法覆盖用于加载数据的编码器？

Answer 1

AvroIO 目前总是使用内置的 AvroCoder 来读取输入文件。您可以稍后在管道中像您描述的那样更改编码器。如果你的数据实际上没有以 AvroIO 可以读取的方式编码，你应该使用不同的来源，例如，FileBasedSource 的新子类。 .