python - 如何将 API 调用返回的数据直接加载到 BigQuery 中而不存储在 GCS 上？

Question

我正在尝试将 python 写入:

1. 从我们供应商的 API 收集 josn 或 csv 数据，

2. 将数据加载到 BigQuery 中

问:我可以不将数据存储在 GCS 上，而是将数据直接加载到 BigQuery 中吗？

谢谢，

编辑:Client.load_table_from_dataframe 可能是一个解决方案。

Answer 1

几个想法:

• 使用 BigQuery 的 streaming API将行插入表中。请注意，这会产生相关费用。
• 使用 INSERT 语句传递要插入的值作为 query parameters .您将使用表单的查询，在其中传递 array_of_structs作为 ARRAY<STRUCT<x INT64, y STRING, z BOOL>> 类型的查询参数(该结构应具有您要使用的适当行类型)。请注意，调用 BigQuery 有最大请求大小限制，但是，如果我没记错的话是 10MB。

查询:

INSERT dataset.table (x, y, z)
SELECT x, y, z
FROM UNNEST(@array_of_structs)