google-app-engine - 未记录的托管 VM 任务队列 RPCFailedError

Question

我遇到了一个关于 GAE 托管 VM 和任务队列的非常特殊且未记录的问题。我知道托管 VM 服务处于测试阶段，所以这个问题可能不会永远相关，但现在肯定让我很头疼。

问题的主要症状是，在某些(我不完全了解)情况下，我看到以下错误/回溯:

  File "/home/vmagent/my_app/some_file.py", line 265, in some_ndb_tasklet
    res = yield some_task.add_async('some-task-queue-name')
  File "/home/vmagent/python_vm_runtime/google/appengine/ext/ndb/tasklets.py", line 472, in _on_rpc_completion
    result = rpc.get_result()
  File "/home/vmagent/python_vm_runtime/google/appengine/api/apiproxy_stub_map.py", line 613, in get_result
    return self.__get_result_hook(self)
  File "/home/vmagent/python_vm_runtime/google/appengine/api/taskqueue/taskqueue.py", line 1948, in ResultHook
    rpc.check_success()
  File "/home/vmagent/python_vm_runtime/google/appengine/api/apiproxy_stub_map.py", line 579, in check_success
    self.__rpc.CheckSuccess()
  File "/home/vmagent/python_vm_runtime/google/appengine/ext/vmruntime/vmstub.py", line 312, in _WaitImpl
    raise self._ErrorException(*_DEFAULT_EXCEPTION)
RPCFailedError: The remote RPC to the application server failed for call taskqueue.BulkAdd().

我已经通过我的本地 App Engine SDK 来跟踪这一点，我可以到达跟踪的最后一行，但是 google/appengine/ext/vmruntime/ 没有完全存在于我的机器上，所以我不知道 vmstub.py 中发生了什么。通过查看本地代码，some_task.add_async('the-queue') 正在启动一个 RPC 并等待它完成，但是这个错误不是 除了 apiproxy_errors.ApplicationError , e: 在 taskqueue.py 的第 1949 行期待...

产生错误的代码看起来像这样:

@ndb.tasklet
def kickoff_tasks(batch_of_payloads):
    for task_payload in batch_of_payloads:
        # task_payload is a dict
        task = taskqueue.Task(
            url='/the/handler/url',
            params=payload)
        res = yield task.add_async('some-valid-task-queue-name')

其他值得注意的事情:

• 此代码本身在由另一个任务启动的任务处理程序中运行。
• 我在实现这种批处理之前第一次看到这个错误，并认为问题是因为我从任务处理程序中添加了太多任务。
• 在某些情况下，我可以在批量大小为 100 时成功运行此程序，但在其他情况下，它在 100 时始终失败(取决于有效载荷中的数据)，有时在批量大小为 50 时成功。
• 任务负载本身包括成批的项目，并且被调整到刚好适合任务。 App Engine 宣传最大任务大小为 100KB，因此我现在将有效负载保持在 90,000 字节以下。进一步降低大小似乎没有任何帮助。
• 我也尝试过实现指数退避以在出现此错误时重试 kickoff_tasks 方法，但似乎一旦出现错误，我就无法添加任何其他任务在同一个处理程序中(即我无法启动“从你离开的地方继续”任务，我只需要让它失败并自行重启)

那么，我的问题是，到底是什么导致了这个错误？我该如何避免或解决此问题以便正确处理？

Answer 1

这是一个正在处理的已知问题。实际上有两个问题 - RPC 失败本身和 SDK 缺乏对 RPCFailedError 异常的处理。

这个问题有一些公开讨论here .