python - Redis在results_ttl=0的时候还是会填满，为什么？

Question

问:作业结果立即丢弃，为什么redis会填满？

我使用 Redis 作为队列来异步创建 PDF，然后将结果保存到我的数据库中。由于它已保存，我以后不需要访问该对象，因此我不需要在处理后将结果存储在 Redis 中。

为了防止结果留在 redis 中，我将 TTL 设置为 0:

parameter_dict = {          
    "order": serializer.object,
    "photo": base64_image,
    "result_ttl": 0
}
django_rq.enqueue(procces_template, **parameter_dict)

问题是尽管 redis worker 说作业立即过期:

15:33:35 Job OK, result = John Doe's nail order to 568 Broadway
15:33:35 Result discarded immediately.
15:33:35
15:33:35 *** Listening on high, default, low...

Redis 仍然填满并抛出:

ResponseError: command not allowed when used memory > 'maxmemory'

如果作业结果尚未存储，我是否需要在 redis/django-rq 中设置另一个参数以防止 redis 填满？

---

更新:

在这个 post 之后，我预计内存可能会因为 redis 中的失败作业而被填满。

使用这段代码:

def print_redis_failed_queue():
    q = django_rq.get_failed_queue()
    while True:
        job = q.dequeue()
        if not job:
            break
        print job

这是 redis 中 key 转储的粘贴箱:

http://pastebin.com/Bc4bRyRR

它太长了，不实用，不能在这里发帖。它的大小似乎支持我的理论。但是使用:

def delete_redis_failed_queue():
    q = django_rq.get_failed_queue()
    count = 0
    while True:
        job = q.dequeue()
        if not job:
            print "{} Jobs deleted.".format(count)
            break
        job.delete()
        count += 1  

是否像我期望的那样清除了 redis。如何在 Redis 中更准确地转储 key ？我是否正确地清除了作业？

Answer 1

原来 Redis 是因为孤立的工作而填满的，即。未分配给特定队列的作业。

虽然孤立作业的原因未知，但问题已通过以下代码片段解决:

import redis
from rq.queue import Queue, get_failed_queue
from rq.job import Job
redis = Redis()
for i, key in enumerate(self.redis.keys('rq:job:*')):
    job_number = key.split("rq:job:")[1]
    job = Job.fetch(job_number, connection=self.redis)
    job.delete()

在我的特殊情况下，调用此代码段(实际上是下面的 delete_orphaned_jobs() 方法)，在每个作业竞争后确保 Redis 不会填满，并且孤立的作业将被采用照顾。有关此问题的更多详细信息，请参阅打开的 django-rq issue 中对话的链接。 .

在诊断这个问题的过程中，我还创建了一个utility class用于轻松检查和删除作业/孤立作业:

class RedisTools:
    '''
    A set of utility tools for interacting with a redis cache
    '''

    def __init__(self):
        self._queues = ["default", "high", "low", "failed"]
        self.get_redis_connection()

    def get_redis_connection(self):
        redis_url = os.getenv('REDISTOGO_URL', 'redis://localhost:6379')
        self.redis = redis.from_url(redis_url)

    def get_queues(self):
        return self._queues

    def get_queue_count(self, queue):
        return Queue(name=queue, connection=self.redis).count

    def msg_print_log(self, msg):
        print msg
        logger.info(msg)

    def get_key_count(self):
        return len(self.redis.keys('rq:job:*'))

    def get_queue_job_counts(self):
        queues = self.get_queues()
        queue_counts = [self.get_queue_count(queue) for queue in queues]
        return zip(queues, queue_counts)

    def has_orphanes(self):
        job_count = sum([count[1] for count in self.get_queue_job_counts()])
        return job_count < self.get_key_count()

    def print_failed_jobs(self):
        q = django_rq.get_failed_queue()
        while True:
            job = q.dequeue()
            if not job:
                break
            print job

    def print_job_counts(self):
        for queue in self.get_queue_job_counts():
            print "{:.<20}{}".format(queue[0], queue[1])
        print "{:.<20}{}".format('Redis Keys:', self.get_key_count())

    def delete_failed_jobs(self):
        q = django_rq.get_failed_queue()
        count = 0
        while True:
            job = q.dequeue()
            if not job:
                self.msg_print_log("{} Jobs deleted.".format(count))
                break
            job.delete()
            count += 1

    def delete_orphaned_jobs(self):
        if not self.has_orphanes():
            return self.msg_print_log("No orphan jobs to delete.")

        for i, key in enumerate(self.redis.keys('rq:job:*')):
            job_number = key.split("rq:job:")[1]
            job = Job.fetch(job_number, connection=self.redis)
            job.delete()
            self.msg_print_log("[{}] Deleted job {}.".format(i, job_number))