python - Redis-修剪队列期间数据丢失的可能性

Question

我有一种生产者-消费者设置，其中生产者(不同线程上的多个生产者)将数据排队到Redis队列中，而使用者(单个线程上的单个使用者)监视此队列。当队列长度达到> = 10000个项目时，使用者应从队列中提取前10000个项目，将其从队列中删除并对其进行某种计算。

使用redis-py客户端，我使用以下代码提取前10000个项目，并将其删除:

logs = REDIS_CLIENT.lrange(task_queue, 0, 9999)
REDIS_CLIENT.ltrim(task_queue, start=10000, end=REDIS_CLIENT.llen(task_queue))

( lrange和 ltrim的文档)

我的问题是，这里是否有丢失数据的机会？例如，有可能在调用函数ltrim()和实际修剪队列之间的时间将任务排入队列(在这种情况下，最新的日志将丢失，因为end的值将是更长的长度)？还是在ltrim操作完成之前将锁放在队列上？

Answer 1

是的，您可能会丢失数据，因为ltrim和llen之间有一个时间窗口。

为了关闭该时间窗口，您可以将-1设置为结束偏移量:

REDIS_CLIENT.ltrim(task_queue, start=10000, end=-1)

-1表示列表的结尾，您无需显式指定结尾偏移量。