python - Google App Engine - 任务队列启动随机任务的时间太长

Question

我们的客户在使用我们的 appengine python 应用程序时遇到问题，该应用程序需要任务队列处理以生成报告并在完成后立即显示。直到最近，解决众所周知的 GAE 缓慢和超时问题的解决方法一直对我们有效。

上周我们开始收到关于用户等待报告的时间太长的提示。以前最多1分钟，现在10多分钟。

此外，我无法重现问题，但查看任务队列，我可以看到那些任务根本没有开始。

下面是其中一个队列的屏幕截图(不是生成报告的队列，但问题出现在所有队列中)。

http://www.clipular.com/c/4829223501430784.png?k=QaP2kedZm6NcvrKzwVSJqq2YI1g

我们可以看到没有任务在运行，但是队列中唯一的任务直到完成7分钟的等待才开始。看看 ETA，它预测任务应该在过去开始。最终它熄灭了，但为什么不早点开始呢？

我已经排除的原因:

• 没有足够的资源或实例:即使在午夜之后，当我们只收到几个请求时，也会发生这种情况。
• 错误的队列配置:不是这样的，我们有各种各样的队列配置，而且这种情况时有发生。例如，最大速率=350/s，桶大小=400，最大并发数=400。

Answer 1

此问题在没有任何操作的情况下停止发生。显然，这是由于 GAE 服务器出现某种故障所致。这个问题持续了大约两周。

但是，可以最大限度地减少问题的一个措施是尽可能将您的任务分散在单独的队列中。

--- 编辑---

又发生了。为了解决这个问题，我们唯一能做的就是编写一个脚本，如果发现延迟任务，它会不断要求运行它们。它在 https://console.cloud.google.com/appengine/taskqueues 上运行通过篡改猴子。