google-bigquery - BigQuery - 如何在 Cloud Logging 中查看失败的计划查询？

Question

我想在 Cloud Monitoring 信息中心 中监控我的 BigQuery 计划查询的状态。我已经创建了几个基于日志的指标来跟踪其他服务/资源中的错误，但无法在 Cloud Logging 中找到任何计划查询错误的指示。

在 BigQuery UI 的计划查询页面中，我可以检查失败的计划查询的运行详细信息，它会显示一些解释错误的日志条目，例如

9:02:59 AM  Error code 8 : Resources exceeded during query execution: Not enough resources for query planning - too many subqueries or query is too complex..; JobID: PROJECT:12345abc-0000-12a3-1234-123456abcdf   
9:00:17 AM  Starting to process the query job with no parameters.   
9:00:00 AM  Dispatched run to data source with id 1234567890

但出于某种原因，我无法在 Cloud Logging 中找到任何这些消息。对于成功的作业，BigQuery 日志中有一些条目，但失败的作业完全丢失。

知道如何在 Cloud Logging 或 Cloud Monitoring 中查看失败的计划查询吗？

Answer 1

您可以使用以下高级过滤器来过滤所有与“jobservice.insert”相关的 BigQuery 错误

resource.type="bigquery_resource"
protoPayload.serviceName="bigquery.googleapis.com"
protoPayload.methodName="jobservice.insert"
severity: "ERROR"

这是查询的结果:

即使是像这样的简单查询:

resource.type="bigquery_resource"
severity: "ERROR"

能够检索所有与 BigQuery 相关的错误，如您在此处所见:

一旦找到与失败的计划查询相关的查询，您可以点击结果的原型(prototype)负载并选择“显示匹配条目”以开始构建您自己的高级查询。

我能够使用 Advanced logs queries 组装这个过滤器和 BigQuery queries文档。