google-cloud-platform - 从谷歌云数据存储迁移到谷歌云 sql

Question

我们将 Google Cloud Datastore 用于我们的 Google App Engine (GAE) 应用程序。在我们的项目改造期间，我们希望将我们的数据库从 Datastore 迁移到 Google Cloud SQL。

我们在 Datastore 中有大约 1 TB 的数据，不包括索引。

如何从 Datastore 迁移到 Cloud SQL，是否有任何可用的现有开源解决方案。

我检查了以下一项
https://cloud.google.com/datastore/docs/export-import-entities ，这对于在datastore和sql之间迁移数据没有帮助

谢谢

Answer 1

有不同的方法来管理这个，我认为最简单的方法是按照 Jim Morrison 所说的，使用 Cloud Datastore to JSON Dataflow 模板。同样使用这种方法有不同的可能性:

首先使用该命令将公共(public)模板下载到本地:

 gsutil cp gs://dataflow-templates/latest/Datastore_to_GCS_Text .

(注意不要删除最后一个 . ，可以切换到要下载的目录)

然后，正如 Jim Morrison 在他的回答中向您解释的那样，编辑下载的文件并使用您自己的 [1] 更改模板参数。 .

完成后，将其再次上传到您拥有的存储桶中。例如:

gsutil cp Datastore_to_GCS_Text gs://datastore_to_cloudsql/template/

然后您可以使用 GCP Console 运行作业(通过使用自定义模板从模板创建作业) [2]

获得 JSON 文件后，将其转换为 CSV 并将其导入云 SQL [3] .此外，也许您想添加一个函数，因为模板参数允许 [1]直接将导出的数据转换为 CSV 格式而不是 JSON 文件。

提供的 JSON 格式是一个文档，其中填充了类似这样的行，我对其进行了格式化以使其更清晰:

{
  "key":{"partitionId":{"projectId":"MY_PROJECT_ID"},
  "path":[{"kind":"MY_KIND_NAME","id":"4814888656437248"}]},
  "properties":{
    "MY_FIRST_COLUMN":{"integerValue_FOR_EXAMPLE":"3_INT_VALUE_EXAMPLE"},
    "SECOND_COLUMN":{"stringValue_FOR_EXAMPLE":"foobarfoobarfoobar_FOR_EXAMPLE"},
    "THIRD_COLUMN":{"stringValue_FOR_EXAMPLE":"foobar_FOR_EXAMPLE"}
  }
}

1: https://cloud.google.com/dataflow/docs/templates/provided-templates#cloud-datastore-to-cloud-storage-text

2: https://cloud.google.com/dataflow/docs/templates/executing-templates#using-the-gcp-console

3: https://cloud.google.com/sql/docs/mysql/import-export/importing#importing_csv_files_to_title_short