gpt4 book ai didi

java - 在 Google App Engine for java 中使用并行处理

转载 作者:行者123 更新时间:2023-11-30 04:55:19 25 4
gpt4 key购买 nike

我有一系列重复性的工作,其中每个工作都必须访问许多不同的网站 - 每个工作的范围从 100 到 10000 个网站。

来 self 在任务队列 API 的 Google 文档中读到的内容。任务可用于将请求发送到带有一些参数(定义为任务的一部分)的内部相对 URL。

我想要的是能够控制流量,例如拥有一个“队列”,其中作为一项作业的一部分仅同时访问 50 个站点,然后是一个更快的队列,其中一项作业最多访问 5000 个站点同时...

如何在 Google App Engine for Java 中完成上述任务?

我能想到的唯一解决方案是像 Korus 这样的并行处理框架,但这并没有为我提供任务队列提供的控制级别......是否有一些简单和/或更好的方法来完成我想要什么?

最佳答案

阿尔温德,

这只需配置队列即可轻松完成。以下是有关如何配置处理速率的相关文档:http://code.google.com/appengine/docs/java/config/queue.html#Defining_Push_Queues_and_Processing_Rates

总之,有几个属性可以帮助您控制应用程序如何处理队列上的任务。它们是:速率、桶大小、最大并发请求。它们中的每一个都会让您限制处理速率。请记住 App Engine 使用 token buckets算法来控制任务执行的速率。

对于第一个示例,您只需设置 <max-concurrent-requests>50</max-concurrent-requests> 即可控制同时访问 50 个站点。

另一个参数只会帮助您设置处理任务的速度,直到您达到该队列的 50 个并发请求。

希望这有帮助!

关于java - 在 Google App Engine for java 中使用并行处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8755234/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com