google-cloud-dataflow - 如何在 Beam 2.0 中的复合 PTransform 中获取 PipelineOptions？

Question

升级到 Beam 2.0 后 Pipeline类(class)没有 getOptions()上课了。
我有一个复合 PTransform依赖于获取其 expand 中的选项方法:

public class MyCompositeTransform extends PTransform<PBegin, PDone> {
    @Override
    public PDone expand(PBegin input) {
        Pipeline pipeline = input.getPipeline();
        MyPipelineOptions options = pipeline.getOptions().as(MyPipelineOptions.class);
        ...
    }
}

在 Beam 2.0 中似乎没有办法访问 PipelineOptions完全在 expand方法。

什么是替代方案？

Answer 1

Pablo's answer是正确的。我还想澄清一下，PipelineOptions 的方式发生了重大变化。被管理。

您可以使用它们来解析并将参数传递给您的 main程序(或任何构建管道的代码)，但这些在技术上独立于 PipelineOptions配置管道的运行方式。

在 Beam 中，Pipeline已完全建成，只有在此之后您才选择 PipelineRunner和 PipelineOptions控制管道的运行方式。管道本身实际上没有选项。

如果您确实想要 PTransform 的行为(不是它的扩展)要使用一些动态获取的选项，你应该让你的 PTransform接受 ValueProvider like this example in WriteFiles 并且您可以定义返回 ValueProvider 的管道选项like here in ValueProviderTest