google-app-engine - 如何为 Google App Engine 上的 BigQuery 设置截止日期

Question

我有一个调用 BigQuery 获取数据的 Google App Engine 程序。

查询通常需要 3 - 4.5 秒并且没问题，但有时需要超过 5 秒并抛出此错误:

DeadlineExceededError: The API call urlfetch.Fetch() took too long to respond and was cancelled.

这article显示截止日期和不同类型的截止日期错误。

有没有办法将 BigQuery 作业的截止日期设置为 5 秒以上？在 BigQuery API 文档中找不到它。

Answer 1

BigQuery 查询速度很快，但通常比默认的 App Engine urlfetch 超时时间更长。 BigQuery API 是异步的，因此您需要将步骤分解为 API 调用，每个调用都短于 5 秒。

对于这种情况，我会使用 App Engine Task Queue :

1. 调用 BigQuery API 以插入您的作业。这会返回一个 JobID。

2. 在 App Engine 任务队列中放置一个任务，以检查该 ID 的 BigQuery 查询作业的状态。

3. 如果 BigQuery 作业状态不是“完成”，请在队列中放置一个新任务以再次检查它。

4. 如果状态为“完成”，则使用 urlfetch 进行调用以检索结果。