google-bigquery - BigQuery 中查询作业中的 allowLargeResults

Question

我尝试在 BigQuery 中运行查询作业并收到以下错误:

Response too large to return. Consider setting allowLargeResults to true in your job configuration

我知道我需要在我的作业配置中将 allowLargeResults 设置为 True，但我还必须提供目标表字段。

我不想将查询的结果插入到特定的表中，只是在本地处理它。我该如何处理这种情况？

Answer 1

I don't want to insert the results of the query to specific table, only to process it locally.

想要澄清——希望您对使用目标表感觉更好:
实际上，任何查询结果最终都会出现在某个表中!
如果结果小于 128MB - BigQuery 代表您创建临时表(在名称以下划线开头的特殊数据集中，因此在 Web UI 数据集/表导航器中不可见)。
这个临时表 24 小时可用，如果您使用查询现金，您甚至可以自己使用它——您只需要找到创建了哪个表。你可以在 API 中找到这个——目标表——正如我上面所说的，即使你没有设置特定的表，它也存在。或者你可以在 Web UI 中找到它

当结果大于 128MB – 你必须设置目标表。在您的情况下，唯一的缺点是您需要确保在不再需要此表后将其删除，否则您将支付存储费用

您可以通过实际删除表来执行此操作 - 手动(在 UI 中)或以编程方式(API)。或者你可以在表上设置过期时间(API)