python - 多处理 HTTP 在 Python 中获取请求

Question

我必须向大量网站发出大量(数千次)HTTP GET 请求。这非常慢，因为某些网站可能不响应(或需要很长时间才能响应)，而其他网站则超时。由于我需要尽可能多的响应，因此设置较小的超时(3-5 秒)对我不利。

我还没有在 Python 中进行任何类型的多处理或多线程处理，而且我已经阅读了很长时间的文档。这是我到目前为止所拥有的:

import requests
from bs4 import BeautifulSoup
from multiprocessing import Process, Pool

errors = 0

def get_site_content(site):
    try :
        # start = time.time()
        response = requests.get(site, allow_redirects = True, timeout=5)
        response.raise_for_status()
        content = response.text
    except Exception as e:
        global errors
        errors += 1
        return ''
    soup = BeautifulSoup(content)
    for script in soup(["script", "style"]):
        script.extract()
    text = soup.get_text()

    return text

sites = ["http://www.example.net", ...]

pool = Pool(processes=5)
results = pool.map(get_site_content, sites)
print results

现在，我希望以某种方式连接返回的结果。这允许两种变化:

1. 每个进程都有一个本地列表/队列，其中包含它积累的内容，并与其他队列一起形成一个结果，其中包含所有站点的所有内容。

2. 每个进程在运行过程中写入单个全局队列。这将需要一些用于并发检查的锁定机制。

在这里多处理或多线程是更好的选择吗？我将如何使用 Python 中的任何一种方法完成上述任务？

---

编辑:

我确实尝试过类似下面的事情:

# global
queue = []
with Pool(processes = 5) as pool:
    queue.append(pool.map(get_site_contents, sites))

print queue

但是，这给了我以下错误:

with Pool(processes = 4) as pool:
AttributeError: __exit__

我不太明白。我在理解 pool.map 到底做了什么 什么 时遇到了一些麻烦，过去将函数应用于可迭代第二个参数中的每个对象。它返回任何东西吗？如果不是，我是否从函数内追加到全局队列？

Answer 1

pool.map 启动“n”个进程，这些进程接受一个函数并使用可迭代项中的一个项目运行它。当这样的过程完成并返回时，返回值被存储在结果列表中，与输入变量中输入项相同的位置。

例如:如果编写函数来计算数字的平方，然后使用 pool.map 在数字列表上运行此函数。 def square_this(x): 平方 = x**2 返回广场

input_iterable = [2, 3, 4]
pool = Pool(processes=2) # Initalize a pool of 2 processes
result = pool.map(square_this, input_iterable) # Use the pool to run the function on the items in the iterable
pool.close() # this means that no more tasks will be added to the pool
pool.join() # this blocks the program till function is run on all the items
# print the result
print result

...>>[4, 9, 16]

Pool.map 技术在您的情况下可能并不理想，因为它会阻塞直到所有进程完成。即，如果网站没有响应或响应时间太长，您的程序将被卡住等待它。而是尝试在您自己的类中对 multiprocessing.Process 进行子类化，以轮询这些网站并使用队列访问结果。当您获得满意数量的响应时，您可以停止所有进程，而不必等待剩余请求完成。