python - 单例生成器，多个消费者

Question

我有从不同线程访问的单例。该单例通过生成器提供数据。生成器应该完全被访问数据的线程消耗。每个访问数据的线程都应该使用一个新的生成器。这是我的代码:

from   datetime import datetime
import threading
import time

class MySingletonCls:

    def get_data(self, repeat):
        self.nr = 0
        for x in xrange(repeat):
            time.sleep(0.001)
            self.nr += 1
            yield x

_my_singleton = None

def MySingleton():
    global _my_singleton
    if _my_singleton == None:
        _my_singleton = MySingletonCls()
    return _my_singleton

def test_singleton():
    def worker():
        singleton = MySingleton()
        cnt = 0
        for x in singleton.get_data(100):
            cnt += 1
        print singleton.nr, cnt
    threads = []
    num_worker_threads = 5
    for i in range(num_worker_threads):
        t = threading.Thread(target=worker)
        threads.append(t)
        t.start()
    for t in threads:
        t.join()

test_singleton()

我预计每个 worker 都会收到 100 个条目，实际情况就是如此。但是访问单例中的计数器给了我非常奇怪的数字。这是我的程序的输出:

457 100
468 100
470 100
471 100
475 100

这是怎么回事？对于每个线程，有多少个条目正在生成单例生成器？为什么单例计数器显示这个奇怪的值？我怎样才能使这个线程安全？

Answer 1

由于单例只有一个实例，因此 nr 属性在所有生成器之间共享。尽管每次调用都会创建一个新的生成器，但它们都使用相同的 nr 属性。因此，每当任何线程使用生成器中的元素时，它都会增加 nr，并且每当创建新的生成器时，它都会重置 nr。这些增量和重置在线程中不可预测地发生。

如果您希望每次调用 get_data 都能生成完全独立的生成器，则不能让它们全部依赖于相同的 nr 属性。请注意，生成器将在每次产量时“暂停”，并将保留当时函数的状态，因此您根本不需要使用属性。您可以只使用局部变量:

def get_data(self, repeat):
    nr = 0
    for x in xrange(repeat):
        time.sleep(0.001)
        nr += 1
        yield x

但是，无论如何，尚不清楚您要对 self.nr 做什么，因为您没有在生成器中生成它。没有办法允许多个线程随意改变单例对象，并且仍然从所有线程中获得一致的结果。如果线程中的操作导致单例对象状态发生更改，您永远无法知道这些更改何时会发生。