java - 使用带有自定义编码器的 PubsubIO 阅读

Question

我可以使用 PubsubIO 从主题中读取 PubSub 消息，如下所示:

pipeline.apply("read", PubsubIO.readMessages().fromTopic(options.getPubsubReadTopic()))
.apply( /* rest of the pipeline that works on PubSubMessage records */ )

PubSub 消息中的数据包装在我们的自定义包装器中，不易使用。我想创建类 CustomPubsubIO 并以类似的方式使用它:

pipeline.apply("read", CustomPubsubIO.readTyped<MyType>().fromTopic(options.getPubsubReadTopic()))
.apply( /* rest of the pipeline that works on MyType records */ )

我能够创建自定义 CustomCoder<MyType> ，但我无法创建 PubsubIO.Read<MyType>用它。 PubsubIO.Read在 PubsubIO 中是抽象的, 并与 @AutoValue 一起使用, 好像我不能直接扩展它

创建 Read<> 的正确方法是什么？使用自定义编码器？

Answer 1

您是否有任何特定原因要创建自定义类型的 PubsubIO.Read？否则，您可以只使用 PubsubIO.readMessages() 并结合 DoFn 将输出 PubsubMessage 转换为您想要的任何内容。支持自定义编码器和自定义解析函数的 API 是 removed两年前，因为使用 DoFn 似乎是生成自定义类型的更清晰和语义等效的方式。