google-cloud-dataflow - 如何在 Dataflow 中执行联合？

Question

我正在尝试在 Dataflow 中执行联合操作。是否有用于在 Dataflow 中合并两个 PCollections 的示例代码？

Answer 1

一个简单的方法是像这样将 Flatten() 与 RemoveDuplicates() 结合起来。根据您是想要不相交联合还是集合论联合，可以省略 RemoveDuplicates 调用:

PCollection<String> pc1 = ...;
PCollection<String> pc2 = ...;
PCollection<String> union = PCollectionList.of(pc1).and(pc2)
  .apply(Flatten.<String>pCollections())
  .apply(RemoveDuplicates.<String>create());