python - 在 python apache beam 中，是否可以按特定顺序编写元素？

Question

我正在使用 Beam 处理重叠窗口上的时间序列数据。在我的管道结束时，我将每个元素写入一个文件。每个元素代表一个 csv 行，其中一个字段是关联窗口的时间戳。我想按照该时间戳的顺序编写元素。有没有办法使用 python beam 库来做到这一点？

Answer 1

虽然这不是基本分布的一部分，但您可以通过处理这些元素并将它们作为全局窗口的一部分进行排序来实现，然后再写入文件，但需要注意以下事项:

• 窗口的全部内容需要适合内存，或者您需要将文件分块到更小的全局窗口中。
• 如果您选择第二个选项，您需要有一个策略来将较小的窗口写入文件。