gpt4 book ai didi

python - 两个条件变量附加到同一个锁,python2 和 python3 中的不同行为

转载 作者:行者123 更新时间:2023-12-01 08:34:41 26 4
gpt4 key购买 nike

我正在尝试用 python 编写经典的生产者-消费者程序。这是我引用的c代码: http://faculty.ycp.edu/~dhovemey/spring2011/cs365/lecture/lecture16.html https://web.stanford.edu/~ouster/cgi-bin/cs140-spring14/lecture.php?topic=locks

pip install colorpip3 install color之后我在 lubuntu 18.04 上运行这个程序。当作为“python3 Producer-consumer.py”运行时(即使用 python 3.6.7 运行)程序在几次迭代后挂起

"queue is empty, stop consuming"

或在

"queue is full, stop producing"

注意:ctrl-c 不会终止程序。你需要按 ctrl-z 然后kill -9 %1 来杀死它。

奇怪的是:当作为“python Producer-consumer.py”运行时(即使用 python 2.7.15rc1 运行)它几乎按预期运行。但运行足够长的时间后,它会在以下位置引发 IndexError 异常:

queue.append(item)

或在

item = queue.pop(0)

在此之前,它会按预期运行几分钟:3个生产者和3个不同颜色的消费者在同一个小容量队列上工作,经常遇到空队列情况和满队列情况。

我怀疑无论我的程序正确与否,python2 和 python3 中的不同行为似乎表明python3 中有一个错误(也许 python2 也有)条件变量的实现?或者对于某些有缺陷的程序来说,这种差异实际上是预期的吗?提前致谢。

from threading import Thread, Lock, Condition
import time
from random import random, randint
import colored
from colored import stylize

queue = []
CAPACITY = 3

qlock = Lock()
item_ok = Condition(qlock)
space_ok = Condition(qlock)

class ProducerThread(Thread):
def run(self):
global queue
mycolor = self.name
while True:
qlock.acquire()
if len(queue) >= CAPACITY:
print(stylize('queue is full, stop producing', colored.fg(mycolor)))
while space_ok.wait():
pass
print(stylize('space available again, start producing', colored.fg(mycolor)))
item = chr(ord('A')+randint(0,25))
print(stylize('['+' '.join(queue)+'] <= '+item, colored.fg( mycolor)))
queue.append(item)
item_ok.notify()
qlock.release()
time.sleep((random()+0.2)/1.2)


class ConsumerThread(Thread):
def run(self):
global queue
mycolor = self.name
while True:
qlock.acquire()
if not queue:
print(stylize('queue is empty, stop consuming', colored.fg(mycolor)))
while item_ok.wait():
pass
print(stylize('food is available, start consuming', colored.fg(mycolor)))
item = queue.pop(0)
print(stylize(item+' <= ['+' '.join(queue)+']', colored.fg( mycolor)))
space_ok.notify()
qlock.release()
time.sleep((random()+0.2)/1.2)

ProducerThread(name='red').start()
ProducerThread(name='green').start()
ProducerThread(name='blue').start()
ConsumerThread(name='cyan').start()
ConsumerThread(name='magenta').start()
ConsumerThread(name='yellow').start()

after a few minutes of running python2

最佳答案

主要问题是您的代码是您在通知线程之后没有检查列表是否为空/已满。在以下情况下这可能会出现问题:

c1c2 是消费者线程,p1 是生产者线程。一开始队列是空的。 c1 已唤醒(当前在最后一行 time.sleep... 中),而 c2 正在等待通知(在 行中) while item_ok.wait():.

  1. p1 将项目添加到队列并调用 item_ok.notify()
  2. c1完成等待并获取锁
  3. c2 收到通知并尝试获取锁定
  4. c1 消耗队列中的项目并释放锁
  5. c2 获取锁并尝试从空队列中弹出

解决方案

而不是在 while 条件中调用 .wait() (这是没有意义的,因为它在 Python 2 上总是返回 None 并且总是 True(Python 3.2+ 上,请参阅 here ),在 while 循环体中调用 .wait() 并将队列是否已满/空的条件放入 while 循环条件中:

while not queue:
print('queue is empty, stop consuming')
item_ok.wait()
print('trying again')

通过使用这种方法(也在上面链接的文档中使用),线程在唤醒并获取锁后检查队列是否仍然不为空/满。如果不再满足条件(因为在其间执行了另一个线程),则该线程将再次等待条件。

顺便说一句,上述 python 2 和 3 之间的差异也是您的程序在这两个版本上表现不同的原因。这是记录在案的行为,而不是实现中的错误。

生产者和消费者线程的固定代码(在过去 30 分钟内在我的机器上运行良好)如下所示(我删除了颜色,因为我不想安装包):

class ProducerThread(Thread):
def run(self):
global queue
while True:
qlock.acquire()
while len(queue) >= CAPACITY:
print('queue is full, stop producing')
space_ok.wait()
print('trying again')
item = chr(ord('A')+randint(0,25))
print('['+' '.join(queue)+'] <= '+item)
queue.append(item)
item_ok.notify()
qlock.release()
time.sleep((random()+0.2)/1.2)


class ConsumerThread(Thread):
def run(self):
global queue
while True:
qlock.acquire()
while not queue:
print('queue is empty, stop consuming')
item_ok.wait()
print('trying again')
item = queue.pop(0)
print(item+' <= ['+' '.join(queue)+']')
space_ok.notify()
qlock.release()
time.sleep((random()+0.2)/1.2)

奖金

您提到无法使用Ctrl-C(键盘中断)退出程序。要解决此问题,您可以将线程设置为“守护进程”,这意味着它们在主线程结束后立即退出。使用上面的代码,Ctrl-C 可以很好地结束程序:

ProducerThread(name='red', daemon=True).start()
ProducerThread(name='green', daemon=True).start()
ProducerThread(name='blue', daemon=True).start()
ConsumerThread(name='cyan', daemon=True).start()
ConsumerThread(name='magenta', daemon=True).start()
ConsumerThread(name='yellow', daemon=True).start()

try:
while True:
time.sleep(1)
except KeyboardInterrupt:
print("Exiting")

这能解决您的问题吗?请在下面评论。

关于python - 两个条件变量附加到同一个锁,python2 和 python3 中的不同行为,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53778588/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com