具有多线程的 Windows 上的 Python Popen - 无法删除标准输出/标准错误日志

Question

在 Windows 上使用 python 2.7.4(注意:WinXP - 下面的评论者建议这在 Win7 上可以正常工作)，我有一个脚本可以创建几个每个线程都通过 Popen 运行一个子进程stdout/stderr 重定向到文件并调用 wait()。每个 Popen 都有它的自己的标准输出/标准错误文件。每个进程返回后，我有时会删除文件(实际上是将它们移到别处)。

我发现我无法删除 stdout/stderr 日志，直到所有wait() 调用返回。在此之前，我收到“WindowsError: [Error 32] The进程无法访问该文件，因为它正被另一个进程使用过程”。似乎 Popen 以某种方式保留了 stderr 文件只要有至少一个子进程打开，即使文件未共享。

下面重现的测试代码。

C:\test1.py

import subprocess
import threading
import os

def retryDelete(p, idx):
    while True:
        try:
            os.unlink(p)
        except Exception, e:
            if "The process cannot access the file because it is being used by another process" not in e:
                raise e
        else:
            print "Deleted logs", idx
            return

class Test(threading.Thread):
    def __init__(self, idx):
        threading.Thread.__init__(self)
        self.idx = idx

    def run(self):
        print "Creating %d" % self.idx
        stdof = open("stdout%d.log" % self.idx, "w")
        stdef = open("stderr%d.log" % self.idx, "w")
        p = subprocess.Popen("c:\\Python27\\python.exe test2.py %d" % self.idx,
                             stdout=stdof, stderr = stdef)
        print "Waiting %d" % self.idx
        p.wait()
        print "Starting deleting logs %d" % self.idx
        stdof.close()
        stdef.close()
        retryDelete("stderr%d.log" % self.idx, self.idx)
        print "Done %d" % self.idx

threads = [Test(i) for i in range(0, 10)]
for thread in threads:
    thread.start()
for thread in threads:
    thread.join()

c:\test2.py:

import time
import sys

print "Sleeping",sys.argv[1]
time.sleep(int(sys.argv[1]))
print "Exiting",sys.argv[1]

如果您运行此程序，您将看到每个 retryDelete() 都会在文件访问错误时旋转，直到所有子进程都完成。

更新:即使未将 stdof 和 stdef 文件描述符传递给 Popen 构造函数，也会出现此问题。但是，如果删除 Popen 并将 wait() 替换为 time.sleep(self.idx)，则不会发生这种情况(即删除会立即发生)。由于 Popen 似乎对未传递给它的文件描述符有影响，我想知道这个问题是否与句柄继承有关。

更新:close_fds=True 给出错误(在重定向 stdout/stderr 时在 Windows 上不支持)，并且在 wait() 调用后使用 del p 删除 Popen 对象对问题没有影响.

更新:使用 sysinternals 进程资源管理器查找具有文件句柄的进程。将测试减少到只有 2 个线程/子级，并使第二个线程保持打开状态很长时间。句柄搜索显示唯一具有 stderr0.log 句柄的进程是父 python 进程，它有两个句柄打开。

更新:对于我当前的紧急使用，我找到了一个解决方法，即创建一个单独的脚本，该脚本将命令行和 stderr/stdout 日志文件作为参数并运行子进程重定向的过程。然后父级只用 os.system() 执行这个帮助脚本。然后日志文件被成功释放并被删除。但是，我仍然对这个问题的答案很感兴趣。对我来说，这感觉像是 WinXP 特有的错误，但仍有可能我只是做错了什么。

Answer 1

这个问题是老问题了，这个BUG已经在Python 3.4+上修复了。作为记录，这是我们一直用来解决 python 2.7 或 python 3.3 问题的 hacky 技巧-

This function is made in pure python (no external APIs), and only works on Windows !

==> 在启动子进程之前，调用下面的函数

def _hack_windows_subprocess():
    """HACK: python 2.7 file descriptors.
    This magic hack fixes https://bugs.python.org/issue19575
    by adding HANDLE_FLAG_INHERIT to all already opened file descriptors.
    """
    # Extracted from https://github.com/secdev/scapy/issues/1136
    import stat
    from ctypes import windll, wintypes
    from msvcrt import get_osfhandle

    HANDLE_FLAG_INHERIT = 0x00000001

    for fd in range(100):
        try:
            s = os.fstat(fd)
        except:
            break
        if stat.S_ISREG(s.st_mode):
            handle = wintypes.HANDLE(get_osfhandle(fd))
            mask   = wintypes.DWORD(HANDLE_FLAG_INHERIT)
            flags  = wintypes.DWORD(0)
            windll.kernel32.SetHandleInformation(handle, mask, flags)

这个函数会处理最后打开的100个文件描述符，并将它们设置为“无继承模式”，从而修复这个bug。如果需要，可以增加 100 的数量。