使用 urllib2 的 Python 并发查询性能

Question

我编写了一个 Python 脚本来从 Web 服务中获取内容 (json)，该 Web 服务具有 2500 个不同的参数排列，同时具有 4 个线程。 Web 服务响应非常快速和稳定。在我的测试机上(Windows 7 x64、4 Core、Python 2.7.8)，抓取所有结果需要 10-15 秒。

但是当我将脚本部署到 x64 Debian 6 或 CentOS 6.5 虚拟机上时，需要 10 多分钟才能获取相同的结果。真让我震惊。两个 VM 来自同一个网络，这意味着网络延迟应该是相同的。 VM 也分配了 4 个核心。恕我直言，硬件几乎相同。

from concurrent import futures
import urllib2

def parallel_query(urls):
    results = {}
    with futures.ThreadPoolExecutor(max_workers=4) as executor:
        tasks = dict((executor.submit(query_html, url), url) for url in urls)
        for task in futures.as_completed(tasks):
            results[tasks[task]] = task.result()
    print results

def query_html(url):
    response = urllib2.urlopen(url)
    return response.read()

parallel_query(
    ('http://api.server/?par1', # Here I only create 3 api calls. Actually
     'http://api.server/?par2', # in my real test, there are 2500 api calls
     'http://api.server/?par3') # to be generated
)

两个虚拟机都安装了 Python 2.6.6。我尝试安装 Python 2.7.8 和 Python 3.4.1，但结果是一样的。根本没有根本的改进。 Linux 上是否存在任何已知的性能问题？

Answer 1

代码对我来说看起来很不错。我添加了一个“统计”部分，并将并发线程数增加到 2*num_cpus+1，这是一个标准的启发式方法。

结果来 self 的 Linux Mint Petra lappytop，命中标准的 Nginx 网络服务器。

来源

import multiprocessing, time
from concurrent import futures
import urllib2

NUM_WORKERS = multiprocessing.cpu_count() * 2 + 1
NUM_QUERIES = 25

def parallel_query(urls, nworkers):
    results = {}
    with futures.ThreadPoolExecutor(max_workers=nworkers) as executor:
        tasks = dict(
            (executor.submit(query_html, url), url) 
            for url in urls
        )
        for task in futures.as_completed(tasks):
            results[tasks[task]] = task.result()
    return results

def query_html(url):
    start = time.time()
    response = urllib2.urlopen(url)
    _ = response.read()
    return time.time() - start

res = parallel_query(
    ('http://localhost/?num={}'.format(num)
     for num in range(NUM_QUERIES)
     ),
    nworkers = NUM_WORKERS,
)
timing = res.values()

print 'STATS:'
total = sum(timing)
print 'min\t{:.3}'.format( min(timing) )
print 'max\t{:.3}'.format( max(timing) )
print 'avg\t{:.3}'.format( total / len(timing) )

输出

STATS:
min 0.000849
max 0.00253
avg 0.00134