tensorflow - 哪种 TFX 编排实际上是 TFX 的标准？

Question

我是 tensorflow 的初学者，现在我在一个项目中需要为 tensorflow 部署分布式生产平台。如果我能得到一些帮助来澄清我的想法，我将不胜感激。

阅读online doument , 和 youtube ,我了解分布式生产的主要组件如下。

TFX(Tensorflow 扩展)使用 python 3.x 构建管道:Apache BeamOrchestrator:Apache Airflow 或 Kubeflow

但是对于 orchestrator，我认为这两个组件各有利弊，但哪个组件是 TFX 的事实上的标准？

该指南主要关注 Airflow 所以我认为这可能是一个但是 kubeflow 似乎是新的 所以它可能是新的挑战者。

Note: The current revision of this user guide primarily discusses deployment on a bare-metal system using Apache Airflow for orchestration.

谢谢，于

Answer 1

我认为 Kubernetes/Kubeflow 是最好的编排器，但是，它会在设置和管理您自己的集群时带来大量前期成本。

Google 刚刚发布了 VertexAI 管道，这是一种托管(无服务器)服务，GCP 在其中为您管理 Kubernetes，您可以只专注于编写管道代码。

我强烈建议您使用它，因为它非常实惠且设置简单。 https://cloud.google.com/vertex-ai/docs/pipelines/introduction

在我的公司，我们通过使用 VertexAI 管道节省了数百万美元的运营和维护成本。

为了完成这个答案，有一些与 VertexAI 相关的缺点。这是一个 Pre-GA 产品，所以我仍然会遇到一些小问题，但我会说它 90% 的功能，我们正在使用它来协调我们的端到端机器学习工作流程以及自动化一些我们的分析和数据验证工作负载。