python - BigQuery 结果以 block 形式传输到 Panda DataFrame

Question

我正在尝试使用 bigquery.Client.query.to_dataframe()

将 BigQuery 查询的结果保存到 Panda DataFrame

这个查询可以返回数百万行。

鉴于 Panda to BQ (Dataframe.to_gbq()) 有一个 block 参数，BQ to Pandas 是否有类似的东西可以增量添加到数据帧，而不必多次运行查询限制和偏移量？

Answer 1

您可以使用 to_dataframe_iterable 来代替。

job = client.query(query)
result = job.result(page_size=20)

for df in result.to_dataframe_iterable():
    # df will have at most 20 rows
    print(df)