python - 在 Python 中发出大量 HTTP 请求

Question

我正在尝试测试一个 Web 应用程序，其中一部分涉及发出约 10K 个请求，获取返回 200 OK 的少数 <1K 并检查它们的数据。 Web 应用程序存在错误并且存在误报，因此每个 200 OK 至少需要三次检查。

在 Python 中工作 我试图用线程和 urllib 来做到这一点，但在 linux 上我在大约 920 个线程后出现线程错误。 (我的理论是它是 /proc/sys/kernel/threads-max 除以 30，这是非常准确的，但令人不安的是每个线程都会在操作系统中注册为 30 个线程)。无论如何，我正在为这项任务寻找一个好的解决方案。我研究了 Twisted，但似乎我仍然会受到线程的束缚。

有什么想法吗？

Answer 1

我正在测试 apache ab网络服务器 TORNADO在我的双核 athlon @ 2Ghz 上每秒无法超过 1000 个连接。 30% 的资源用于测试工具 ab，其余用于服务器。我非常确信大部分资源都被操作系统和 IP-eth 层花费了。

http://amix.dk/blog/post/19581
非阻塞服务器比阻塞服务器具有更好的性能，因为它们不会为每个连接生成线程。理论上它们可以单胎面运行。