apache-beam - Apache Beam 中的动态管道

Question

我有一个通用输入请求，其中包含需要转换和保存的输入。如果需要转换生成的输出，我会为它实现一个新的处理器(转换器)。

class Request {
  Input input;
  Transformer transformer;
  Output output;
}

基于从源读取的消息，我生成了图像中描述的所需转换图，它基于每个输入的配置，可以说是针对不同的客户。这里我为每条消息生成的管道是动态的。即

Graph<Request> gRequests; 

子转换输入取决于父转换的成功完成。

有什么方法可以为此生成一个动态的 Apache Beam 管道吗？或者最好的方法是什么？

截至目前，我正在将每个转换展平为基于输入和输出的顺序转换列表，并通过每个管道步骤，如果已配置则执行转换，否则只是跳过。

变压器的顺序列表。

对于每个需要的新转换，它都会重新安排管道。这就是预期的流量!但是，如果我可以根据输入和我的客户配置进行链式转换，那就容易多了。

Answer 1

您不能在运行时生成 Beam 管道 - 应该提前知道，因为在实际运行之前，运行器将处理管道的 DAG 并将其转换为数据处理系统的管道(例如 Spark、Flink 、数据流等)。

同时，您可以利用 branches in your pipeline合并不同的转换并根据您的条件处理具有特定分支的不同记录。