java - 按顺序迭代和更新大型数据集的后台任务

Question

我需要作为后台任务按索引顺序迭代相当大的实体数据集。 (实体数量约200,000+)

我知道 TaskQueue API 以及可能的后台实例是可行的方法，但我有时会遇到 DataStoreUnavailable 和超时异常，我正在寻找一种使用 GAE API 在后台进行迭代和更新的可靠方法。

了解迭代进度对我来说也非常有用。

我也知道实验性的 Java Map Reduce API，但乍一看，这似乎更像是一个并行处理 API，而不是有序的。 (如果我错了，请纠正我。目前Java MapReduce的例子似乎很少)

有没有具体的例子或好的模式来完成这类工作？

Answer 1

作业中仅处理有限数量的实体。

像往常一样从查询开始，但如果作业请求具有游标参数，请将其应用于查询。然后仅获取固定数量的实体，而不是获取全部。

当作业完成，但还有更多实体需要处理时，检索当前查询游标，并以游标作为请求参数再次调度相同的作业。