Python 看门狗脚本 : load url asynchronously

Question

我有一个简单的 Python 脚本，它会检查几个 url:

f = urllib2.urlopen(urllib2.Request(url))

因为我将套接字超时设置为 5 秒，所以有时需要等待 5 秒 * 结果的 URL 数量。

是否有任何简单的标准化方法来异步运行这些 url 检查而无需大量开销。脚本必须在 vanilla ubuntu 发行版上使用标准 python 组件(无需额外安装)。

有什么想法吗？

Answer 1

我写了一个叫做 multibench 的东西很久以前。我用它做的事情几乎和你想在这里做的一样，那就是调用 wget 的多个并发实例，看看需要多长时间才能完成。它是一种粗略的负载测试和性能监控工具。您需要稍微调整一下，因为它会运行相同的命令 n 次。