python - 从 Python 加载大量数据到 Google Bigquery

Question

一段时间以来，我一直在努力将大块数据加载到 bigquery 中。在 Google 的文档中，我看到了 insertAll方法，它似乎工作正常，但是当我尝试在 JSON 中发送超过 100k 的数据时，出现 413“实体太大”错误。 Per Google's docs, I should be able to send up to 1TB of uncompressed data in JSON .是什么赋予了？上一页的示例让我手动构建请求主体，而不是使用 insertAll，后者更丑陋且更容易出错。我也不确定在这种情况下数据应该采用什么格式。

综上所述，将大量数据加载到 Bigquery 中的干净/正确方法是什么？有数据的例子会很棒。如果可能的话，我真的不想自己构建请求主体。

Answer 1

请注意，对于将数据流式传输到 BQ，anything above 10k rows/sec需要与销售代表交谈。

如果您想将大块直接发送到 BQ，您可以 send it via POST .如果您使用的是客户端库，它应该会为您处理使上传可恢复。为此，您需要调用 jobs.insert()而不是 tabledata.insertAll()，并提供 load job 的描述.要使用 Python 客户端实际推送字节，您可以创建一个 MediaFileUpload或 MediaInMemoryUpload并将其作为 media_body 参数传递。

另一种选择是将数据暂存在 Google Cloud Storage 和 load it from there .