python - 与使用常规配置文件相比，Hydra 有哪些优势

Question

我想知道使用 Hydra 管理我的配置文件有什么好处，与直接加载 .yaml 配置文件(使用 import yaml)相比？

Answer 1

TL;博士

如果您正在处理一个有许多可配置参数的项目，那么确实使用 Hydra说得通。如果没有，那么它弊大于利，因为它是包含在您的项目中的额外要求，需要其他开发人员学习如何使用它，并且实例化配置文件有时是一件令人头疼的事情。对于使用 .py 的小型项目，“纯”.yaml 甚至 .ini 文件通常更有意义。

Hydra主要特点

除了Jasha's Answer 中提到的几点，还有两个我个人经常使用的 Hydra 附加功能。

对象实例化

第一个功能是实例化对象的能力，例如 classes 和 functions，方法是将对象的导入路径指定为名为 _target_，以及对象所需参数的值。例如，考虑以下 .yaml 配置文件:

# conf/config.yaml
defaults:
  - db:
    - base
    - sqlite
  - /hydra/callbacks:
    - helper_callback
  - override hydra/help: opt_help
  - override hydra/job_logging: custom
  - _self_

# Same as using:
# from dateutil.relativedelta import relativedelta, FR
# relative_date = relativedelta(weeks=3, weekday=FR(1))

relative_date:
  _target_: dateutil.relativedelta.relativedelta
  weeks: 3
  weekday:
    _target_: dateutil.relativedelta.FR
    n: 1

然后你可以使用类似的东西来实例化 relative_date:

from hydra import compose, initialize
from hydra.utils import instantiate


initialize(config_path='./conf')
cfg = compose(config_name="config")

# Same as: relative_date = relativedelta(weeks=3, weekday=FR(1))
relative_date = instantiate(cfg['relative_date'])

或者:

# foo.py
import hydra
from hydra.utils import instantiate


@hydra.main(config_path="./conf", config_name="config", version_base=hydra.__version__)
def main(cfg):
    print(instantiate(cfg['relative_date']))


if __name__ == '__main__':
    main()

并执行:

$ python foo.py
relativedelta(days=+21, weekday=FR(+1))

Note: first option works on interactive python environments, like Jupyter, whereas the second approach won't.

检索环境变量

一些项目使用environment variables .这些变量是进程运行的环境(即您的计算机)的一部分。环境变量也可以在项目级别的名为 .env 的文件中找到。 Hydra使您可以使用此类变量，如下所示:

main:
  source: file
  debug: True
  testing: True
  user: ${oc.env:USER}          # <-- Access an environment variable named "USER"
  src_dir: ${oc.env:SRC_DIR}/   # <-- Access an environment variable named "SRC_DIR"

Note: to be fair, this is a feature from OmegaConf, which is the package that Hydra uses under the hood.

实际项目示例

下面的 TreeView 显示了我开发的一个项目示例，该项目具有大量可配置参数，它使用 Hydra :

conf
├── config.yaml
├── optimization.yaml
├── maintenance.yaml
├── sentry_config.yaml
├── alignment_conf
│   ├── extras.yaml
│   └── alignment.yaml
├── constraints
│   ├── air_capacity.yaml
│   ├── delivery.yaml
│   └── handling.yaml
├── db
│   ├── base.yaml
│   ├── hana_dev.yaml
│   ├── hana_prod.yaml
│   └── sqlite.yaml
├── hydra
│   ├── callbacks
│   │   └── helper_callback.yaml
│   ├── help
│   │   └── opt_help.yaml
│   └── job_logging
│       └── custom.yaml
└── solvers
    ├── cbc_cmd.yaml
    ├── choco_cmd.yaml
    ├── cplex.yaml
    ├── glpk_cmd.yaml
    ├── gurobi.yaml
    ├── mosek.yaml
    └── scip.yaml