python - BigQuery 执行时间

Question

在我发送一个要在 BigQuery 中执行的查询后，我如何才能找到有关此作业的执行时间和其他统计信息？

BigQuery 的 Python API 有一个提示字段 timeline ，但在文档中几乎没有提及。但是，此方法返回一个空的可迭代对象。

到目前为止，我一直在使用 BigQuery Python API 运行这段 Python 代码。

from google.cloud import bigquery

bq_client = bigquery.Client()
job = bq_client.query(some_sql_query, location="US")
ts = list(job.timeline)
if len(ts) > 0:
    for t in ts:
        print(t)
else:
    print('No timeline results ???')    # <-- no timeline results.

Answer 1

当您的作业“完成”时，BigQuery API 返回一个 JobStatistics 对象(描述为 here )，可通过作业对象的属性在 Python 中访问该对象。

可用属性可访问here .

为了访问您的工作所花费的时间，您主要有 job.created、job.started 和 job.ended 属性。

回到你的代码片段，你可以尝试这样的事情:

from google.cloud import bigquery

bq_client = bigquery.client()
job = bq_client.query(some_sql_query, location="US")

while job.running():
    print("Running..")
    sleep(0.1)

print("The job duration was {}".format(job.ended - job.started))