python - Google Cloud Dataflow Python SDK 更新

Question

在使用 Google Cloud Dataflow Python SDK 时，开始从云存储读取大量数据需要一段时间并导致错误AssertionError: Job did not meet to a finish state after indefinitely waiting.

通过搜索，我们发现了 Unresolved 问题 BEAM-5529指的是补丁#6535已在版本 2.8.0 中发布，但未出现在发行说明中。

另一方面，当前发布的版本是 google-cloud-dataflow 2.5.0

是否有任何更新政策，或者是否有个人责任使用最新版本来编译和生成新版本？

欢迎任何帮助或评论。

Answer 1

根据 Google Cloud Platform 官方文档 here :

The Cloud Dataflow SDK 2.5.0 is the last Cloud Dataflow SDK release that is separate from the Apache Beam SDK releases. The Cloud Dataflow service fully supports official Apache Beam SDK releases.

所以，是的，google-cloud-dataflow 2.5.0 是最后一个版本，从该版本开始，您应该使用官方的 apache-beam 版本。请记住you will need to install the library using the extra [gcp]:

pip install apache-beam[gcp]

最后，the fix in 6535应该已经应用了，因为我安装了库“pip install apache-beam[gcp]===2.8.0”并且我转到文件“apache_beam/runners/dataflow/dataflow_runner.py”并且它已在那里应用了修复程序。