python - 在 python luigi 中使用参数

Question

我正在通过以下方式触发 Luigi

luigi.run(["--local-scheduler"], main_task_cls=Test(Server = ActiveServer, Database = DB))   

在我的课上我有:

class Test(luigi.Task):

    Database = luigi.Parameter()
    Server = luigi.Parameter()

但是任务测试似乎无法正确解析我提供给它的参数？

我得到:

MissingParameterException: No value for 'Server' (--Server) submitted and no default value has been assigned.

Answer 1

据我所知，您不能通过main_task_cls 参数发送参数，只能发送类本身。参数可以改为通过 cmdline_args 参数发送，如下所示:

luigi.run(
    cmdline_args=["--local-scheduler",
                  "--server=ActiveServer",
                  "--database=DB"], 
    main_task_cls=Test)

另请注意，luigi.run() 有一个 local_scheduler 关键字参数，您可以使用它来代替发送 --local-scheduler 通过 cmdline_args 参数，所以你得到:

luigi.run(
    cmdline_args=["--Server=ActiveServer",
                  "--Database=DB"], 
    main_task_cls=Test
    local_scheduler=True)