python - 如何检索 PCollection 的内容并将其分配给普通变量？

Question

我正在使用 Apache-Beam 和 Python SDK。

目前，我的管道读取多个文件，解析它们并从其数据生成 pandas 数据帧。然后，它将它们分组到一个单个数据帧中。

我现在想要的是检索这个单一的胖数据帧，并将其分配给一个普通的 Python 变量。

可以吗？

Answer 1

PCollection 只是执行图中的一个逻辑节点，它的内容不一定实际存储在任何地方，所以这是不可能直接实现的。

但是，您可以要求管道将 PCollection 写入文件(例如，将元素转换为字符串并使用 WriteToText 和 num_shards=1)，运行管道并等待它完成，然后从您的主程序中读取该文件。