java - 谷歌应用引擎 : Backend getting stuck after fetching a large number of URLs

Question

我在使用 GAE 后端和任务队列时遇到问题。基本上发生的事情是，在后端进行了几分钟的 url 获取调用后，任务甚至没有开始就开始卡住。强制速率下降到 0.10/s，队列几乎没有移动。它只有在我重新启动后端实例时才开始移动，但只是为了再次达到 0.10/s 的强制速率。

我目前正在从事一个 GAE 项目，该项目要求应用程序遍历大约 70000 个 URL，检索 HTML，检查 HTML 中的值，并根据 HTML 中的值更新数据存储中的一些记录。

实现涉及一个 cron 作业，该作业每分钟接收大约 300 个 URL，将它们分成 10 个，并将它们分配给任务队列中的不同任务。每个任务通过它们的 10 个 URL，处理内容。

我正在运行 B4 静态后端实例。任务队列速率为 5/s。最大并发请求数为 8。我也尝试添加任务时效，但没有帮助。

---- 2013 年 10 月 19 日----

编辑:我尝试注释掉大量代码并将问题缩小到 URL 获取。显然，当我删除 URL 获取时，事情运行得非常顺利。不过，我不确定如何解决这个问题，因为我很确定我关闭了所有与连接相关的资源。

Answer 1

您可以调用the quota limit for URL fetch即 3000 次 API 调用/分钟或 657,000 次 API 调用/天。