python - MLFlow 和 Hydra 一起使用会导致崩溃

Question

我正在尝试将 Hydra 与 MLFlow 结合使用，因此我编写了最低限度的脚本以查看它们是否一起工作(导入等)。两者都可以正常工作，但是当放在一起时，我得到了一个奇怪的结果。

我有下面的脚本:

import hydra
from omegaconf import DictConfig
from mlflow import log_metric, log_param, log_artifact,start_run

@hydra.main(config_path="config.yaml")
def my_app(cfg : DictConfig):
    # print(cfg.pretty())
    # print(cfg['coordinates']['x0'])
    log_param("a",2)
    log_metric("b",3)

if __name__ == "__main__":
    my_app()

但是，当运行时，我收到以下错误:

ilknull@nurmachine:~/Files/Code/Python/MLFlow_test$ python3 hydra_temp.py 
Error in atexit._run_exitfuncs:
Traceback (most recent call last):
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/tracking/fluent.py", line 164, in end_run
    MlflowClient().set_terminated(_active_run_stack[-1].info.run_id, status)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/tracking/client.py", line 311, in set_terminated
    self._tracking_client.set_terminated(run_id, status, end_time)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/tracking/_tracking_service/client.py", line 312, in set_terminated
    end_time=end_time)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/store/tracking/file_store.py", line 377, in update_run_info
    run_info = self._get_run_info(run_id)
  File "/home/ilknull/.local/lib/python3.7/site-packages/mlflow/store/tracking/file_store.py", line 442, in _get_run_info
    databricks_pb2.RESOURCE_DOES_NOT_EXIST)
mlflow.exceptions.MlflowException: Run '9066793c02604a6783d081ed965d5eff' not found

同样，它们单独使用时工作得非常好，但它们一起使用时会导致此错误。有任何想法吗？

Answer 1

感谢您报告此事。我不知道这个问题。

这是因为 Hydra 正在为每次运行更改您当前的工作目录。

我做了一些挖掘，这是你可以做的:

设置 MLFLOW_TRACKING_URI 环境变量:

MLFLOW_TRACKING_URI=file:///$(pwd)/.mlflow  python3 hydra_temp.py

在 hydra.main() 开始之前调用 set_tracking_url():

import hydra
from omegaconf import DictConfig
from mlflow import log_metric, log_param, set_tracking_uri
import os

set_tracking_uri(f"file:///{os.getcwd()}/.mlflow")

@hydra.main(config_name="config")
def my_app(cfg: DictConfig):
    log_param("a", 2)
    log_metric("b", 3)


if __name__ == "__main__":
    my_app()

等我的new issue要得到解决，那么将有一个合适的插件与 mlflow 集成。
(这可能需要一段时间)。

顺便说一下，Hydra 1.0 新增了对设置环境变量的支持:

这几乎有效:

hydra:
  job:
    env_set:
      MLFLOW_TRACKING_DIR: file://${hydra:runtime.cwd}/.mlflow
      MLFLOW_TRACKING_URI: file://${hydra:runtime.cwd}/.mlflow

不幸的是，当您的函数退出时，Hydra 正在清理 env 变量，而 MLFlow 在进程退出时进行最终保存，因此不再设置 env 变量。
MLFlow 还会不断重新初始化用于存储实验数据的 FileStore 对象。如果他们只将它初始化一次并重用同一个对象，上面的应该会起作用。