google-sheets - 是什么导致从 Google 表格创建的 BigQuery 表中出现 `Failure to read the spreadsheet` 错误？

Question

我有一个正在运行的数据库表，它引用了从 Google 工作表创建的表。有时这个查询会运行，而其他时候我会看到错误

Error while reading data, error message: Failed to read the spreadsheet. Errors: Deadline=118.95772243s

如何使从此表中的查询更可靠？

Answer 1

如 documentation for external data sources 中所述，Google Sheets 可能会有一些延迟，因为数据不会持久化到 BigQuery，这就是查询运行不一致的原因。如同一文档中所述，建议执行以下选项:

1) 将 Google Sheets CSV 存储在 Google Cloud Storage 内.

2) Load the data into BigQuery

注意:目前不支持从 Google Drive 将数据加载到 BigQuery，因此需要上面的步骤“1”将 Google Sheets 数据加载到 BigQuery。

此外，您可以使用 Google Cloud Composer 安排上述步骤。 . Here是如何使用 Cloud Composer 从 Google Cloud Storage 传输到 BigQuery 表的示例。