python - 将谷歌应用引擎实体下载为 CSV

Question

在我们的 GAE 应用程序中，用户通常需要将特定类型的实体下载为 CSV。新实体经常被添加/更新，这使得提前或以固定间隔将所有实体写入 blob 变得不可行。

对于以 500 个为一批提取的大约 50000 个实体(每个实体 < 2 KB)，写入 CSV 文件 blob 需要超过 2 分钟，成本将近 1 美元。此外，用户必须等待很长时间才能收到通常只有几 (< 5) MB 的文件。

我有两个问题:

A) 是否可以通过为导出配置 map-reduce 管道来减少写入 blob 的时间？

B) 有没有办法降低从数据存储中获取大量实体并写入 blob 的成本？

编辑:刚了解到 mapreduce 只能在一种实体的所有实体上运行，而不是过滤后的子集。所以 mapreduce 可能会增加很多成本。还有其他建议吗？

Answer 1

1. 你应该使用 A ppEngine pipeline它可以提高速度，因为它将作业分布到多个实例中。
2. 您可以使用投影查询来降低获取实体的成本，在投影查询中您可以指定要获取的属性。
3. 至于下载速度，您是否将 blobstore 与 BlobstoreDownloadHandler 一起使用？