python - 在 Cloud Dataflow 服务上运行模板

Question

我正在尝试运行我在 Google DataFlow 中开发的本地模板。

问题是当我在 Google Cloud Shell 中运行它时:

python -m dataflow.py --project poc-cloud-209212 --temp_location gs://<...>

我收到这个错误

/usr/bin/python: No module named apache_beam 

所以我尝试了一个更简单的例子:wordcount

就像 Google 所说，我执行:

python -m wordcount --input gs://dataflow-samples/shakespeare/kinglear.txt --output gs://<...> --runner DataflowRunner --project <project> --temp_location gs://<...>

我得到了这个错误:

/usr/bin/python: No module named past.builtins

如果我在没有.py的情况下执行:

 python -m wordcount --input gs://dataflow-samples/shakespeare/kinglear.txt --output gs://<...> --runner DataflowRunner --project <project> --temp_location gs://<...>

同样的错误，但有“更多”信息

Traceback (most recent call last):
  File "/usr/lib/python2.7/runpy.py", line 174, in _run_module_as_main
    "__main__", fname, loader, pkg_name)
  File "/usr/lib/python2.7/runpy.py", line 72, in _run_code
    exec code in run_globals
  File "/home/<...>/wordcount.py", line 26, in <module>
    from past.builtins import unicode
ImportError: No module named past.builtins

发生了什么事？如何在 Google Cloud Dataflow 中运行这些模板？

我需要像在本地一样在 Google Cloud 中设置环境还是默认设置？

Answer 1

我终于做到了。

方法如下:

在 Google Cloud 中使用 python 2.7 安装 virtualenv(默认安装了 3.5，Dataflow 无法使用 python3)

 virtualenv env --python=python2

激活此虚拟环境后，您可以在其中运行