java - 一组给定的扇出任务完成后，如何在 GAE 上执行单个聚合任务

Question

我试图构建的工作流程是这样的，将许多相关任务排队并行运行(至少数千个)一旦所有相关作业完成，就会执行最终确定作业

我不知道如何执行该单个终结作业。我希望在所有相关任务完成后尽快执行此任务。但是，我唯一能想到的就是采用单线程轮询作业来检查所有任务是否已完成，并将最终任务排入队列。

我查看了管道文档 https://code.google.com/p/appengine-pipeline/我看过http://www.google.com/events/io/2010/sessions/high-throughput-data-pipelines-appengine.html起初看起来很有希望，但未能从中找到一个好的解决方案。

在更多地考虑管道库之后，我想我看到了一种模式，可以用来将等待的作业扩展到我想要的高数量。

有一个批处理排队作业，该作业一次将一批任务排队，然后启动另一个批处理排队作业，等待排队的批处理完成。最后，如果没有更多批处理要执行，则运行聚合器作业。

这是用于大量等待作业的模式吗？

Answer 1

等待每个批处理完成会使您的流程更加串行 - 这样运行将花费更长的时间。

如果大量可变参数是一个问题，作为一种解决方法，您可以有一个与每个扇出相对应的扇入任务，假设扇出一次不会分支超过大约 10 个任务。