python - 我们可以限制 luigi 任务的吞吐量吗？

Question

我们有一个从第 3 方服务请求一条信息的 Luigi 任务。我们限制了每分钟可以对该 API 调用执行的调用请求数。

有没有办法在每个任务的基础上指定调度程序必须在每单位时间内运行多少个此类任务？

Answer 1

我们在任务中实现了自己的速率限制。我们的 API 限制足够低，我们可以用一个线程来饱和它。当我们收到速率限制响应时，我们只是后退并重试。

您可以做的一件事是将 API 调用声明为 resource .您可以设置配置中有多少资源可用，然后任务消耗多少资源作为 property on the task .这将限制您一次只能运行 n 个该任务。

在配置中:

[resources]
api=1

在任务代码中:

resources = {"api": 1}