python - 如何使这个 Twisted Python 代理更快？

Question

下面的代码是一个用于内容过滤的 HTTP 代理。它使用 GET 将当前站点的 URL 发送到服务器，并在其中对其进行处理和响应。它运行非常、非常、非常慢。关于如何让它更快的任何想法？

代码如下:

from twisted.internet import reactor
from twisted.web import http
from twisted.web.proxy import Proxy, ProxyRequest
from Tkinter import *
#import win32api
import urllib2
import urllib
import os
import webbrowser

cwd = os.path.abspath(sys.argv[0])[0]
proxies = {}
user = "zachb"
class BlockingProxyRequest(ProxyRequest):
    def process(self):
        params = {}
        params['Location']= self.uri
        params['User'] = user
        params = urllib.urlencode(params)
        req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies)
        resp = req.read()
        req.close()
        if resp == "allow":
            pass
        else:
            self.transport.write('''BLOCKED BY ADMIN!''')
            self.transport.loseConnection()

        ProxyRequest.process(self)

class BlockingProxy(Proxy):
    requestFactory = BlockingProxyRequest
factory = http.HTTPFactory()
factory.protocol = BlockingProxy

reactor.listenTCP(8000, factory)
reactor.run()

有人知道如何让这个运行得更快吗？或者更好的写法？

Answer 1

这个代理缓慢的主要原因可能是这三行:

    req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies)
    resp = req.read()
    req.close()

一个普通的基于 Twisted 的应用程序是单线程的。你必须竭尽全力让线程参与进来。这意味着无论何时收到请求，您都会阻塞此 HTTP 请求的唯一处理线程。在此 HTTP 请求完成之前，不会处理进一步的请求。

尝试使用 twisted.web.client 中的 API 之一(例如 Agent 或 getPage )。这些 API 不会阻塞，因此您的服务器将同时处理并发请求。这应该转化为更短的响应时间。