python - 使用关键字参数调用任务 block

Question

如何使用关键字参数分块任务？例如，这个任务:

@app.task
def add(x, y, multiply=1, unit="GB"):
    return '%s %s' % ((x + y) * multiply, unit)

我可以像往常一样使用 add.apply_async(args=(1, 2), kwargs={'unit': 'MB'}) 调用这个任务，但是我如何分块呢？

我想做这样的事情:

add.chunks([{'args': (1, 2), 'kwargs': {'unit': 'MB'}}, {'args': (3, 4), 'kwargs': {'unit': 'KB'}}, ...], 10)

documentation仅显示如何使用带有位置参数的 block :

from proj.tasks import add
res = add.chunks(zip(range(100), range(100)), 10)()

Answer 1

根据我在 chunks source code 中看到的内容你必须给出一个可迭代的参数元组。

所以你可以制作这种助手:

def build_kwargs_tuples(params, default_multiply=1, default_unit="GB"):
    for d in params:
        x,y = d["args"]
        kwargs = d.get("kwargs",{})
        multiply = kwargs.get("multiply", default_multiply)
        unit = kwargs.get("unit", default_unit)
        yield (x,y,multiply, unit)

然后你可以按照你的要求指定你的参数:

In [40]: example = [{'args': (1, 2), "kwargs": {'unit': 'MB'}}, {'args': (3, 4), "kwargs": {'unit': 'KB'}}]

In [41]: res = add.chunks(build_kwargs_tuples(example),1)()

In [43]: res.get()
Out[43]: [[u'3 MB'], [u'7 KB']]