python - 在 Python 中处理多个 http 请求

Question

我正在通过 Python 中的数据抓取从网站中挖掘数据。我正在使用 request 包来发送参数。

这是 Python 中的代码片段:

   for param in paramList:
    data = get_url_data(param)


def get_url_data(param):    
    post_data = get_post_data(param)

    headers = {}
    headers["Content-Type"] = "text/xml; charset=UTF-8"
    headers["Content-Length"] = len(post_data)
    headers["Connection"] = 'Keep-Alive'
    headers["Cache-Control"] = 'no-cache'

    page = requests.post(url, data=post_data, headers=headers, timeout=10)
    data = parse_page(page.content)
    return data

变量 paramList 是一个包含 1000 多个元素的列表，端点 url 保持不变。我想知道是否有更好更快的方法来做到这一点？

谢谢

Answer 1

由于涉及大量的网络 I/O，线程应该可以显着提高整体性能。
您可以尝试使用 ThreadPool 并应测试线程数并将其调整为最适合情况并显示整体最高性能的线程数。

from multiprocessing.pool import ThreadPool

# Remove 'for param in paramList' iteration

def get_url_data(param):    
    # Rest of code here

if __name__ == '__main__':
    pool = ThreadPool(15)
    pool.map(get_url_data, paramList) # Will split the load between the threads nicely
    pool.close()