machine-learning - Airflow 和 Kubeflow 管道有什么区别？

Question

机器学习平台是商业界的流行语之一，旨在促进机器学习或深度学习的发展。

有一个通用部分工作流程编排器或工作流程调度程序，可以帮助用户构建 DAG、安排和跟踪实验、作业和运行。

有很多机器学习平台都具有工作流编排器，例如 Kubeflow pipeline , FBLearner Flow , Flyte

我的问题是airflow和Kubeflow管道或其他ML平台工作流编排器之间的主要区别是什么？

并且airflow支持不同语言的API并且拥有庞大的社区，我们可以使用airflow来构建我们的ML工作流程吗？

Answer 1

您绝对可以使用 Airflow 来编排机器学习任务，但您可能希望与运算符(operator)一起远程执行 ML 任务。

例如，Dailymotion 使用 KubernetesPodOperator 来扩展用于 ML 任务的 Airflow。

如果您没有资源自行设置 Kubernetes 集群，您可以使用 ML 平台，如 Valohai具有 Airflow 运算符。

在生产环境中进行机器学习时，理想情况下您还希望对模型进行版本控制，以跟踪每次执行的数据、代码、参数和指标。

您可以在 Scaling Apache Airflow for Machine Learning Workflows 上找到有关本文的更多详细信息