python - 如何在没有服务器的情况下将 mlflow 指标和参数保存到 s3 存储桶？

Question

我想将从 mlflow 获取的参数和指标保存到 s3 存储桶中。通常我通过在 mlflow 中设置 tracking_uri 获得这些并将其保存在服务器上但在这种情况下我不能拥有服务器(被告知没有)并且只想将我的参数和指标存储在s3 存储桶的方式与使用 tracking_uri 的方式相同。

我可以毫无问题地将工件存储在 s3 存储桶上，但不能存储参数/指标。

这是一些代码:

def mlflow_testing():
    
    tracking_uri =  "s3://bucket_name/mlflow/",
    experiment_name = "test",
    artifact_uri= "s3://bucket_name/mlflow/"
    
    mlflow.set_tracking_uri(tracking_uri)
    mlflow.create_experiment(experiment_name, artifact_uri)
    mlflow.set_experiment(experiment_name)
    
    with mlflow.start_run() as run:
        mlflow.log_param("test1", 0)
        mlflow.log_metric("test2", 1)
    
        with open("test.txt", "w") as f:
            f.write("this is an artifact")
    
        mlflow.log_artifact("test.txt")
        mlflow.end_run()

这能够将工件文本文件存储在 s3 存储桶上(只要我将 uri 设为本地路径，例如 local_data/mlflow 而不是 s3 存储桶)。

为 tracking_uri 设置 s3 存储桶会导致此错误:

mlflow.tracking.registry.UnsupportedModelRegistryStoreURIException:
Model registry functionality is unavailable; got unsupported URI
's3://bucket_location/mlflow/' for model registry data storage.
Supported URI schemes are: ['', 'file', 'databricks', 'http', 'https',
'postgresql', 'mysql', 'sqlite', 'mssql']. See
https://www.mlflow.org/docs/latest/tracking.html#storage for how to
run an MLflow server against one of the supported backend storage
locations.

有没有人有关于在不设置服务器的情况下解决这个问题的建议？我只想要那些指标和参数。

Answer 1

S3 不是 MLFlow 指标和参数的受支持后端。它是工件的受支持后端。 https://www.mlflow.org/docs/latest/tracking.html#where-runs-are-recorded

如果您愿意，您可以在本地编写您的指标/参数并按计划将其上传到 S3 作为备份。