python - 在线程等待超时的情况下任意休眠

Question

在我开始描述我的问题之前，可能值得一提的是我使用的是 Python 2.7。我没有检查过，但这可能与 Python 3.x 无关。

在使用 Python 的 Queues 时，我发现了一些奇怪的事情。通常，当从队列中获取一个对象时，我会允许较长但有限的超时(例如几秒钟)，以便在预期未找到对象的情况下进行调试和错误报告。我发现有时在将对象插入先前为空的 Queue 的时间与同一 Queue 的 get 方法返回该对象的时间之间存在奇怪的差距，即使在为该对象调用 put 之前调用了该方法。

稍微挖掘一下，我发现这个空隙可以通过 sleep 来填补。在 Queue 模块中，如果传递给 get 方法的 timeout 参数不是 None，并且为正，non_empty Condition的 wait 方法是用一个正参数调用的(这不是 100% 精确；事实上，Queue 的“_qsize”方法，它返回底层 deque 的长度首先被验证为返回 0，但只要队列首先是空的，接下来就是条件的等待)。

Conditions 的wait 方法在超时与否时表现不同。如果它没有超时，它只会调用 waiter.acquire。这是在 C 中定义的，超出了我的理解范围，但它似乎可以正常工作。但是，如果超时是，当 sleep 时间以任意大小(1 毫秒)开始并随着时间的推移变得更长时，就会出现奇怪的 sleep 序列。这是运行的确切代码:

# Balancing act:  We can't afford a pure busy loop, so we
# have to sleep; but if we sleep the whole timeout time,
# we'll be unresponsive.  The scheme here sleeps very
# little at first, longer as time goes on, but never longer
# than 20 times per second (or the timeout time remaining).
endtime = _time() + timeout
delay = 0.0005 # 500 us -> initial delay of 1 ms
while True:
    gotit = waiter.acquire(0)
    if gotit:
        break
    remaining = endtime - _time()
    if remaining <= 0:
        break
    delay = min(delay * 2, remaining, .05)
    _sleep(delay)

这显然是我发现新对象放入先前空队列的时间与已调用的 get 方法返回该对象的时间之间存在差距的原因。随着延迟时间呈指数增长，直到被 0.05 秒的巨大(从我的角度来看)大小阻塞，它在我的应用程序的生命周期中造成了令人惊讶和不需要的重要 sleep 。

你能解释一下这样做的目的是什么吗？ Python 开发人员是否假设没有 Python 用户会关心这样的时间长度？是否有快速解决方法或适当的修复方法？你建议我重载线程模块吗？

Answer 1

我最近遇到了同样的问题，我也追踪到了 threading 模块中的这段代码。

这很糟糕。

---

Can you explain what's the purpose of this? Are Python developers assume no Python user will care about such time lengths?

打败我...

---

Do you recommend me to overload the threading module?

要么重载线程模块，要么迁移到 python3，这部分实现已经修复。

就我而言，迁移到 python3 需要付出巨大的努力，所以我选择了前者。我所做的是:

1. 我创建了一个快速的 .so 文件(使用 cython)，它带有一个到 pthread 的接口(interface)。它包括调用相应 pthread_mutex_* 函数的 python 函数，以及针对 libpthread 的链接。具体来说，与我们感兴趣的任务最相关的函数是 pthread_mutex_timedlock .
2. 我创建了一个新的 threading2 模块(并将我的代码库中的所有 import threading 行替换为 import threading2)。在threading2中，我重新定义了threading中的所有相关类(Lock、Condition、Event )，还有我经常使用的 Queue(Queue 和 PriorityQueue)。 Lock 类是使用 pthread_mutex_* 函数完全重新实现的，但其余的要简单得多——我只是将原始类(例如 threading.Event)，并覆盖 __init__ 以创建我的新 Lock 类型。其余的只是工作。

新的 Lock 类型的实现与 threading 中的原始实现非常相似，但我基于 acquire 的新实现我在 python3 的 threading 模块中找到的代码(自然地，它比上面提到的“平衡行为” block 简单得多)。这部分相当简单。

(顺便说一句，在我的案例中，结果是我的大规模多线程进程加速了 30%。甚至超过了我的预期。)

希望对您有所帮助。