python - Python中的线程本地存储

Question

如何在 Python 中使用线程本地存储？

相关

• What is “thread local storage” in Python, and why do I need it? - 此线程似乎更关注何时共享变量。
• Efficient way to determine whether a particular function is on the stack in Python - Alex Martelli 给出了一个很好的解决方案

Answer 1

线程本地存储很有用，例如，如果您有一个线程工作池并且每个线程都需要访问自己的资源，例如网络或数据库连接。请注意，threading 模块使用线程的常规概念(可以访问进程全局数据)，但由于全局解释器锁定，这些并不太有用。不同的 multiprocessing 模块为每个模块创建一个新的子进程，因此任何全局都将是线程本地的。

线程模块

这是一个简单的例子:

import threading
from threading import current_thread

threadLocal = threading.local()

def hi():
    initialized = getattr(threadLocal, 'initialized', None)
    if initialized is None:
        print("Nice to meet you", current_thread().name)
        threadLocal.initialized = True
    else:
        print("Welcome back", current_thread().name)

hi(); hi()

这将打印出来:

Nice to meet you MainThread
Welcome back MainThread

一件很容易被忽视的重要事情:threading.local() 对象只需要创建一次，而不是每个线程一次，也不是每个函数调用一次。 global 或 class 级别是理想的位置。

原因如下:threading.local() 实际上在每次调用时都会创建一个新实例(就像任何工厂或类调用一样)，所以调用 threading.local() 多次不断地覆盖原始对象，这很可能不是人们想要的。当任何线程访问现有的 threadLocal 变量(或任何它被调用的)时，它都会获得该变量的私有(private) View 。

这不会按预期工作:

import threading
from threading import current_thread

def wont_work():
    threadLocal = threading.local() #oops, this creates a new dict each time!
    initialized = getattr(threadLocal, 'initialized', None)
    if initialized is None:
        print("First time for", current_thread().name)
        threadLocal.initialized = True
    else:
        print("Welcome back", current_thread().name)

wont_work(); wont_work()

将产生以下输出:

First time for MainThread
First time for MainThread

多处理模块

所有全局变量都是线程本地的，因为 multiprocessing 模块为每个线程创建一个新进程。

考虑这个例子，其中 processed 计数器是线程本地存储的一个例子:

from multiprocessing import Pool
from random import random
from time import sleep
import os

processed=0

def f(x):
    sleep(random())
    global processed
    processed += 1
    print("Processed by %s: %s" % (os.getpid(), processed))
    return x*x

if __name__ == '__main__':
    pool = Pool(processes=4)
    print(pool.map(f, range(10)))

它会输出如下内容:

Processed by 7636: 1
Processed by 9144: 1
Processed by 5252: 1
Processed by 7636: 2
Processed by 6248: 1
Processed by 5252: 2
Processed by 6248: 2
Processed by 9144: 2
Processed by 7636: 3
Processed by 5252: 3
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

...当然，线程 ID 和每个线程的计数和顺序会因运行而异。