python - 子流程的执行顺序及其对操作原子性的影响

Question

我正在学习 python 多处理模块，我发现 this示例(这是一个稍微修改过的版本):

#!/bin/env python
import multiprocessing as mp
import random
import string
import time

# Define an output queue
output = mp.Queue()

# define a example function
def rand_string(length, output):
    time.sleep(1)
    """ Generates a random string of numbers, lower- and uppercase chars. """
    rand_str = ''.join(random.choice(
                    string.ascii_lowercase
                    + string.ascii_uppercase
                    + string.digits)
               for i in range(length))
    result = (len(rand_str), rand_str)
    print result
    time.sleep(1)
    output.put(result)


def queue_size(queue):
    size = int(queue.qsize())
    print size


# Setup a list of processes that we want to run
processes = [mp.Process(target=rand_string, args=(x, output)) for x in range(1,10)]


# Run processes
for p in processes:
    p.start()


# Exit the completed processes
for p in processes:
    p.join()


# Get process results from the output queue
results = [output.get() for p in processes]
print(results)

其输出如下:

(3, 'amF')
(1, 'c')
(6, '714CUg')
(4, '10Qg')
(5, 'Yns6h')
(7, 'wsSXj3Z')
(9, 'KRcDTtVZA')
(2, 'Qy')
(8, '50LpMzG9')
[(3, 'amF'), (1, 'c'), (6, '714CUg'), (4, '10Qg'), (5, 'Yns6h'), (9, 'KRcDTtVZA'), (2, 'Qy'), (7, 'wsSXj3Z'), (8, '50LpMzG9')]

我知道进程不是按照创建的顺序调用的(使用processes = [mp.Process(target=rand_string, args=(x, output)) for x in range(1,10)] )这在引用文章中提到过。我不明白(或者我不确定是否理解正确)的是为什么 result 的顺序与 print 将 result 输出到 STDOUT 的顺序不一致？我对此的理解是，这三个操作不是原子的(我的意思是它们可以通过进程切换来分隔):

    print result
    time.sleep(1)
    output.put(result)

基本上，这里发生的是，当进程将结果打印到STDOUT时，它会切换到另一个写入结果的进程。类似这样的事情:

Time 
------------------------------------------------------------------------------------------------------------------>
Process1: print results |               |                                    | time.sleep(1) | output.put(result) |
Process2:               | print results | time.sleep(1) | output.put(result) |               |                    |

在这种情况下，STDOUT 上的输出将是:

(1, 'c')
(2, 's5')

但是结果的实际内容将是:

[ (2, 's5') (1, 'c')]

出于同样的原因，进程在创建时不会按顺序启动。

我说得对吗？

Answer 1

你是对的。操作系统kernel可以并且将会执行上下文切换，无论何时何地都可以。 Python 解释器(或即时编译器或其他)是 userspace程序，因此完全受内核控制。

这种“内核/用户奴役”就这样“从父亲到 child ”传递，或者换句话说，Python 程序处于解释器的默塞德之中，而解释器又处于内核的默塞德之中。

因此，用户空间程序(例如 Python 应用程序)确保同步的唯一方法是使用锁定原语，例如 mutex es 或其他 synchronization primitives .

现在，在现实世界中，通常会导致写入文件时发生上下文切换(例如 stdout，默认由 print 完成)，很多应执行大量昂贵的操作，例如 system calls 、复杂的内存重新映射和黑魔法以及环回机制(例如当 stdout 引用 pseudo-terminal 时，这是当今最常见的情况)。