python-3.x - Luigi 编程配置

Question

我正在为我的 luigi 使用类似于以下内容的配置文件工作流程:

# Luigi logging configuration
[logging]
version = 1
disable_existing_loggers = false

[logging.formatters.simple]
format = "{levelname:8} {asctime} {module}:{lineno} {message}"
style = "{"
datefmt = "%Y-%m-%d %H:%M:%S"

# Luigi contrib configurations
[postgres]
marker-table="luigi_table_updates"

然后调用 luigi从像这样的命令:

LUIGI_CONFIG_PATH='path/to/luigi.toml' luigi ...

但是，我想以编程方式调用我的工作流程。我可以使用 luigi.build 来做到这一点方法;但是，我尝试像这样传入我的配置路径:

luigi.build(my_tasks, local_scheduler=True, LUIGI_CONFIG_PATH='path/to/luigi.toml')

并得到以下错误:

luigi.parameter.UnknownParameterException: core[args=(), kwargs={'local_scheduler': True, 'LUIGI_CONFIG_PATH': 'path/to/luigi.toml', 'no_lock': True}]: unknown parameter LUIGI_CONFIG_PATH

我假设使用它作为 kwarg 会将它加载到环境中 ( luigi.build s env_params ) 类似于 local_scheduler已加载。

所以，我的问题是，配置 luigi 的合适方法是什么？以编程方式？

Answer 1

我想通了；不确定是否有更好的方法，但我发现了一个加载配置的方法调用:

import luigi

luigi.configuration.add_config_path('path/to/my-config.cfg')

然而，我没有找到指定解析器的方法，在阅读源代码后，我不确定目前是否可行。所以，我刚刚从 TOML 切换到 cfg，一切都很好。