java - DeadlineExceededError 解决方法

Question

我正在制作类似网络蜘蛛的东西。它将从网络列表中捕获我想要的数据。WEB LIST的数量约为20个。每个都可以在 1 到 10 秒左右完成。

我知道 DeadlineExceededError 意味着我的请求处理程序没有在 30 秒内完成。我也知道我无法更改 30 秒限制。

所以我需要将我的工作分成小块，但我不知道该怎么做。

这是我的代码:

    List<String> ids = agent.getWebList();

    if(ids.iterator().hasNext()) {
        for(String id : ids) {
            Data d = agent.getDetailedDataById(id);
            agent.updateData(d);
        }
    }

Answer 1

如果您正在使用网络蜘蛛，最好的方法是使用任务队列:

Java Task Queue docs

Python Task Queue docs