google-app-engine - 从 GAE 数据存储复制数据

Question

我们有一个正在 GAE 上部署的应用程序。我的任务是想出将我们存储在 GAE 数据存储中的数据复制到亚马逊云中运行的系统的选项。

理想情况下，我们可以做到这一点，而不必在每次同步时都传输整个数据存储。复制不需要接近实时，因此每天同步一次或两次就可以了。

任何具有 GAE 经验的人都可以帮助我了解可能的选项吗？到目前为止，我想出了:

1. 使用 Google 提供的 bulkloader.py 将数据导出到 CSV 并以某种方式将 CSV 传输到亚马逊并在那里处理

2. 创建一个在 GAE 上运行的 Java 应用程序，从数据存储中读取数据并将数据发送到另一个在 Amazon 上运行的 Java 应用程序。

这些选项有效吗？这些有什么陷阱？还有哪些其他选择？

Answer 1

您可以使用类似于 App Engine HRD 迁移或备份工具正在执行的逻辑:

1. 用子实体标记标记修改过的实体
2. 使用 App Engine mapreduce library 运行 MapperPipeline使用数据存储输入读取器迭代这些实体
3. 在您的 map 函数中获取父实体并使用文件输出编写器将其序列化到 Google 存储并删除标记
4. Ping 远程主机以从 Google 存储 url 导入这些实体

作为 3 和 4 的替代方案，您可以使用多个 urlfetch(POST) 将每个序列化实体直接发送到远程主机，但它更脆弱，因为单个故障可能会损害数据导入的完整性。

你可以看看 datastore admin source code寻找灵感。