Python:多处理和请求

Question

以下是我运行的代码片段，用于使用并行触发 HTTP 请求的多处理。在控制台上运行后，它会卡在“requests.get(url)”处，既不会继续也不会抛出错误。

def echo_100(q):
    ...
    print "before"
    r = requests.get(url)
    print "after"
    ...
    q.put(r)

q = multiprocessing.Queue()
p = multiprocessing.Process(target=echo_100,args=(q))
p.start()
p.join()
resp = q.get()

Answer 1

在 Mac OS 上，似乎存在一些从操作系统读取代理设置的错误。我不知道确切的细节，但它有时会导致请求在使用多处理时挂起。您可以尝试通过完全禁用操作系统代理来规避此问题，如下所示:

session = requests.Session()
session.trust_env = False  # Don't read proxy settings from OS
r = session.get(url)

这对我来说已经解决了。