amazon-s3 - MLflow:为什么 backend-store-uri 不能是 s3 位置？

Question

我是 mlflow 的新手，我不明白为什么 artifact store不能和 backend store 一样?

我能想到的唯一原因是能够使用 SQL 语法查询实验……但是因为我们可以使用 mlflow ui 与运行进行交互。我只是不明白为什么所有的工件和参数不能到同一个位置(这就是使用本地存储时发生的情况)。

任何人都可以对此有所了解吗？

Answer 1

MLflow 的工件通常是 ML 模型，即相对较大的二进制文件。另一方面，运行数据通常是几个浮点数。
最后，这不是什么可能或不可能的问题(如果你付出足够的努力，很多事情都是可能的)，而是遵循良好的做法:

在 SQL 数据库中存储大型二进制工件是可能的，但迟早会降低数据库的性能，这反过来又会降低您的用户体验。

从 SQL 数据库中存储几个浮点数以便快速检索以在前端或通过命令行显示是一个强大的行业证明的经典

MLflow 关于架构设计原理的文档仍然可以改进(截至 2020 年)