python - 将 HttpResponse 存储在字典中

Question

我在 django 中进行长时间计算时遇到了麻烦。由于我公司的白痴，我无法安装 Celery，所以我必须“重新发明轮子”。
我试图在 TaskQueue 类中进行所有计算，该类将所有计算存储在字典“结果”中。另外，我正在尝试创建“请稍候”页面，该页面将询问此任务队列具有提供的 key 的任务是否已准备好。
问题是结果不知何故消失了。
我有一些经过长期计算的观点。

def some_view(request):
    ...
    uuid = task_queue.add_task(method_name, params) #method_name(params) returns HttpResponse
    return redirect('/please_wait/?uuid={0}'.format(uuid))

请稍候查看:

def please_wait(request):
    uuid = request.GET.get('uuid','0')
    ready = task_queue.task_ready(uuid)
    if ready:
        return task_queue.task_result(uuid)
    elif ready == None:
        return render_to_response('admin/please_wait.html',{'not_found':True})
    else:
        return render_to_response('admin/please_wait.html',{'not_found':False})

最后一个代码，我的任务队列:

class TaskQueue:
    def __init__(self):
        self.pool = ThreadPool()
        self.results = {}
        self.lock = Lock()

    def add_task(self, method, params):
        self.lock.acquire()
        new_uuid = self.generate_new_uuid()
        while self.results.has_key(new_uuid):
            new_uuid = self.generate_new_uuid()
        self.results[new_uuid] = self.pool.apply_async(func=method, args=params)
        self.lock.release()
        return new_uuid

    def generate_new_uuid(self):
        return uuid.uuid1().hex[0:8]

    def task_ready(self, task_id):
        if self.results.has_key(task_id):
            return self.results[task_id].ready()
        else:
            return None

    def task_result(self, task_id):
        if self.task_ready(task_id):
            return self.results[task_id].get()
        else:
            return None
global task_queue = TaskQueue()

添加任务后，我可以记录结果，只要它是 uuid 几秒钟，然后它说任务尚未准备好。这是我的日志:(我正在输出task_queue.results)

[INFO] 2013-10-01 16:04:52,782 logger: {'ade5d154': <multiprocessing.pool.ApplyResult object at 0x1989906c>}
[INFO] 2013-10-01 16:05:05,740 logger: {}

请帮帮我!为什么结果消失了？

UPD:@freakish 帮助我找到了一些新信息。这个结果不会永远消失，如果我重复尝试记录它，它有时会消失。

[INFO] 2013-10-01 16:52:41,743 logger: {}
[INFO] 2013-10-01 16:52:45,775 logger: {}
[INFO] 2013-10-01 16:52:48,855 logger: {'ade5d154': <multiprocessing.pool.ApplyResult object at 0x1989906c>}

Answer 1

好的，我们已经确定您正在运行 4 个 Django 进程。在这种情况下，您的队列将不会在他们之间共享。实际上有两种可能的解决方案:

1. 使用共享队列服务器。您可以自己编写(例如 this entry )，但使用合适的(例如 Celery)会容易得多(如果您无法说服雇主安装它，那就辞职吧;))。

2. 使用数据库在其中存储结果，并让每个服务器进行计算(通过进程或线程)。它不必是适当的数据库服务器。您可以使用sqlite3例如。这是更安全可靠的方式，但效率较低。我认为这比排队机制更容易。您只需创建包含以下列的表:id、state、result。创建作业时，您使用 state=processing 更新条目，完成作业时，您使用 state=done 和 result=result 更新条目(例如作为 JSON 字符串)。这既简单又可靠(实际上你根本不需要在这里排队，工作的顺序并不重要，除非我遗漏了一些东西)。

当然，除非您对结果进行腌制，否则您将无法使用此 .ready() 函数(您应该将结果存储在这些存储中)，但这是不必要的开销。