python - 将本地 urllib 设置设为本地？

Question

我有一个多线程进程。对于每个线程，运行以下代码；但是，它将每个线程使用的代理覆盖为最新添加的代理。有没有办法让这个代理设置成为线程本地的？

        self.p_handler = urllib.request.ProxyHandler({'http' : self.proxy})
        self.opener = urllib.request.build_opener(self.p_handler)
        urllib.request.install_opener(self.opener)
        urllib.request.urlretrieve(url, filename)

Answer 1

无需使用 install_opener(全局安装)，只需调用 opener 对象的 open 方法，然后传输结果到一个文件中。

self.p_handler = urllib.request.ProxyHandler({'http' : self.proxy})
self.opener = urllib.request.build_opener(self.p_handler)
result = self.opener.open(url)
with open(filename, 'wb') as f:
    for chunk in iter(lambda: result.read(1024), ''):
        f.write(chunk)

这里的最后两行只是为了避免将整个文件保存在内存中；它们允许它以千字节大小的 block 进行流式传输。如果您不介意将其保留在内存中，那么最后一点会变得更简单:

result = self.opener.open(url)
with open(filename, 'wb') as f:
    f.write(result.read())