Python:确定要创建的线程数

Question

IOError: [Errno socket error] [Errno 10055] 由于系统缺少足够的缓冲区空间或队列已满，无法执行对套接字的操作

如何确定我应该创建的线程实例数以防止我的程序遇到上述错误？

def do_work(sym):
    if quote.get_price(i) != '0.00':
        print '%s: %s' % (i, squote.get_price(i))

for i in perm:
    t = Thread(target=do_work, args=(i,))
    t.start()

注意:
1. len(perm) 约为27000
2. quote.get_price() 做类似的事情:

return urllib.urlopen(url).read().strip().strip('"')

Answer 1

使用线程池而不是创建 27,000 个线程。

import multiprocessing.pool

def do_work(sym):
    if quote.get_price(sym) != '0.00':
        print '%s: %s' % (sym, squote.get_price(sym))

if __name__ == '__main__':
    number_of_threads = 4
    pool = multiprocessing.pool.ThreadPool(number_of_threads)
    pool.map(do_work, perm)