google-cloud-datastore - 如何使用 Dataflow 执行 Cloud Datastore 实体的迁移？

Question

我目前正在使用一台按顺序运行并从命名空间中读取实体的机器执行迁移，这对我来说很痛苦。是否可以使用 Google Cloud Dataflow 更轻松地执行迁移？

Answer 1

您应该能够使用 DatastoreIO操纵记录并并行处理它们。

PCollection<Entity> entities = p.apply(
     Read.from(DatastoreIO.read()
         .withDataset(datasetId)
         .withQuery(query)
         .withHost(host)));
p.apply(<Your transform>)
p.apply(DatastoreIO.writeTo(dataset));
p.run();

自 Dataflow SDK for Java 1.2.0 起，支持查询和写入 Datastore Entities in namespaces已添加。