用于网络爬虫的 python asyncore 或线程池？

Question

看来我可以通过两种方式用 python 做快速爬虫:

1. 带 block 套接字的线程池

2. 非阻塞套接字选择、asyncore 等。

我认为这里没有真正需要线程的地方，解决方案 #2 更好。

哪个更好，为什么？

Answer 1

Twisted通常比 asyncore 更受欢迎。 can also work with thread pools 是一个异步 I/O 框架.

在 Python 中，你应该更喜欢异步 IO 而不是线程，仅仅是因为 threads are a second class citizen in its canonical implementation (CPython)由于 GIL。