google-bigquery - BigQuery 表数据导出

Question

我正在尝试使用 python api 从 BigQuery 表中导出数据。表包含 1 到 4 百万行。所以我将 maxResults 参数保持为最大值，即 100000，然后进行分页。但问题是在一页中我只得到 2652 行，所以分页次数太多了。任何人都可以为此提供理由或解决方案。格式为 JSON。或者我可以在不使用 GCS 的情况下将数据导出为 CSV 格式吗？

我尝试通过插入作业并保持 allowLargeResults =true，但结果保持不变。

下面是我的查询正文:

queryData = {'query':query,
                     'maxResults':100000,
                     'timeoutMs':'130000'}

提前致谢。

Answer 1

您可以尝试使用 bq 命令行工具在不使用 GCS 的情况下从表中导出数据 https://cloud.google.com/bigquery/bq-command-line-tool像这样:

bq --format=prettyjson query --n=10000000 "SELECT * from publicdata:samples.shakespeare"

您也可以根据需要使用--format=json。