Python 代理检查器，更改为线程版本

Question

我有一些 python 代理检查器。

为了加快检查速度，我决定改用多线程版本，

线程模块对我来说是第一个，我多次尝试转换为线程版本

并查找了很多信息，但对于新手 python 程序员来说并不是那么容易。

如果有人能帮助我真的非常感谢!!

提前致谢!

import urllib2, socket

socket.setdefaulttimeout(180)
# read the list of proxy IPs in proxyList
proxyList = open('listproxy.txt').read()

def is_bad_proxy(pip):    
    try:        
        proxy_handler = urllib2.ProxyHandler({'http': pip})        
        opener = urllib2.build_opener(proxy_handler)
        opener.addheaders = [('User-agent', 'Mozilla/5.0')]
        urllib2.install_opener(opener)        
        req=urllib2.Request('http://www.yahoo.com')  # <---check whether proxy alive 
        sock=urllib2.urlopen(req)
    except urllib2.HTTPError, e:        
        print 'Error code: ', e.code
        return e.code
    except Exception, detail:

        print "ERROR:", detail
        return 1
    return 0


for item in proxyList:
    if is_bad_proxy(item):
        print "Bad Proxy", item
    else:
        print item, "is working"

Answer 1

urllib2.install_opener() 函数安装全局 opener，即它不是线程安全的。所以不要使用它并调用 opener.open() 方法而不是全局 urllib2.urlopen() 函数。还使用 Queue 模块中的 Queue 类来保存要检查的代理列表。您的其余代码可以在线程模式下使用。