google-app-engine - 如何从 GAE 数据存储中导出 BLOB 类型字段？

Question

所以我想从 GAE 数据存储中导出一些数据，这就是我尝试这样做的方式:

1. 创建我要导出的种类的云数据存储备份。
2. 在 Google BigQuery 中加载备份
3. 从 Google BigQuery 中导出

一切正常，但有一个问题，Google BigQuery 加载器在从 Cloud Datastore 备份加载数据时忽略 Blob 类型字段。( https://cloud.google.com/bigquery/loading-data-cloud-datastore )

如何实现导出所有类型的字段(包括Blob类型字段)？

Answer 1

Blob 不能存储在 BigQuery 中，根据 documentation ，因为它的主要目的不是大数据分析。 BigQuery 只接受指定的标准 SQL 数据类型 here .在任何情况下，根据您的用例和这些 blob 包含的内容，您可能有几种选择。

由于 Datastore 的最大行大小为 1MB，而 BigQuery 为 100MB，您可以在传输之前转换 blob。另一方面，您可以使用其他服务(例如 Google Cloud Storage)将 blob 存储在那里，并在您的 Datastore 数据库中输入对该文件在 Cloud Storage 中的引用。

我创建了一个 feature request为此，请在公共(public)问题跟踪器中，以便您可以在那里跟踪其进展。但是，此实现没有预计到达时间。