google-cloud-dataflow - Apache Beam:FlatMap与Map？

Question

我想了解在哪种情况下应该使用FlatMap或Map。 The documentation在我看来似乎不太清楚。

我仍然不明白在哪种情况下应该使用FlatMap或Map的转换。

有人可以给我一个例子，让我了解他们的区别吗？

我了解Spark中FlatMap与Map的区别，但是不确定是否有相似之处？

Answer 1

These transforms in Beam are exactly same as Spark (Scala too).

Map转换将N个元素的 PCollection映射到N个元素的另一个 PCollection。
FlatMap转换将N个元素的 PCollections映射到零个或多个元素的N个集合中，然后将其展平为单个 PCollection。

作为一个简单的例子，发生以下情况:

beam.Create([1, 2, 3]) | beam.Map(lambda x: [x, 'any'])
# The result is a collection of THREE lists: [[1, 'any'], [2, 'any'], [3, 'any']]

鉴于:

beam.Create([1, 2, 3]) | beam.FlatMap(lambda x: [x, 'any'])
# The lists that are output by the lambda, are then flattened into a
# collection of SIX single elements: [1, 'any', 2, 'any', 3, 'any']