python - 将 docker 用于谷歌云数据流依赖

Question

我有兴趣使用 Google 云数据流来并行处理视频。我的工作同时使用 OpenCV 和 tensorflow。是否可以只在 docker 实例中运行 worker，而不是按照描述从源代码安装所有依赖项:

https://cloud.google.com/dataflow/pipelines/dependencies-python

我本来希望有一个 docker 容器的标志，它已经位于谷歌容器引擎中。

Answer 1

2021 年更新

Dataflow 现在支持自定义 docker 容器。您可以按照以下说明创建自己的容器:

https://cloud.google.com/dataflow/docs/guides/using-custom-containers

简短的回答是 Beam 在 dockerhub.io/apache/beam_${language}_sdk:${version} 下发布容器。

在您的 Dockerfile 中，您将使用其中之一作为基础:

FROM apache/beam_python3.8_sdk:2.30.0
# Add your customizations and dependencies

然后您可以将此图像上传到容器注册表，例如 GCR 或 Dockerhub，然后您可以指定以下选项:--worker_harness_container_image=$IMAGE_URI

还有必应!你有一个客户容器。

---

无法修改或切换默认的 Dataflow 工作容器。您需要根据文档安装依赖项。