python - 从 App Engine 经济地删除数据

Question

我有一个流行的社交游戏，为此我将每个用户操作作为一个事件实体存储在数据存储中，然后每天一次从 GAE 导出这些事件进行处理。现在我想从数据存储中删除所有这些实体，全部 3 亿个。

为此，我开始使用“数据存储管理”。在我让它运行的最初几个小时内，它设法删除了大约 200 万个实体并使用了 10 美元的 CPU 来执行此操作。因此，似乎仅运行此删除操作就要花费 1500 美元。我开始认为我最好删除整个应用程序并将我不想删除的项目复制到新应用程序。

还有其他选择吗？

更新

我在 IRC 的#appengine 上得到了一些建议，即一次简单地获取 2000 个实体的键并生成任务以将它们逐个删除(可以将键作为字符串传递给任务)可能比使用数据存储管理工具更便宜。我现在正在尝试这个，如果这看起来更便宜，我会尽量记得明天回来报告。

Answer 1

首先删除索引将大大降低删除记录的成本。您还可以将删除率限制在免费分配的每天 6.5 个 CPU 小时以下，以避免付费。

关于自己进行删除，您不太可能比数据存储管理工具更有效地执行此操作，后者已经执行仅键查询并使用游标。