Python 程序在一台机器上非常快速地运行异步抓取任务，但在其他机器上运行速度非常快

Question

我遇到一个问题，即 python 代码在我的 PC 上运行速度超快，而我已经尝试了另外 4 台机器，但它们运行相同代码的速度都比较慢。

在我运行代码的 PC 上，它在 3 分钟内处理了 200 个请求并返回了 200 个响应。这台机器没有什么特别之处。

i5 第 5 代8GB 内存固态硬盘

虽然我已经在功能更强大的机器和功能更弱的机器上进行了尝试，但当我运行相同的代码时，它的速度要慢得多，而在速度较慢的机器上，它在退出之前只执行 10 条记录，就像它已经完成一样。在速度更快的机器上，它会增加到 35 条记录，然后退出。

知道是什么导致了这个问题吗？

我的机器有更多可再发行的版本。他们可以提供优势吗？

下面是获取部分涉及的代码。

async def fetch(session, payload):
    url = ApiUrl
    #print(payload)
    async with session.get(url, data = payload) as response:
        readyResponse= await response.text()
        global c
        c+=1
        print(c)
        parseIt(readyResponse) # function that parses results


async def fetch_all(payloads, loop):
    connector = aiohttp.TCPConnector(limit=10)
    async with aiohttp.ClientSession(connector=connector, loop=loop) as session:
        results = await asyncio.gather(*[fetch(session, payload) for payload in allReq], return_exceptions=True)
        return results


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    payloads = allReq
    htmls = loop.run_until_complete(fetch_all(payloads, loop))

Answer 1

我找到了答案。

我必须安装 pip install aiohttp[speedups]，其中包括用于通过客户端 API 加速 DNS 解析的 aiodns 以及捆绑在一起的 aiodns 和 brotlipy。

就是这样。