Python 3 : subprocess. 运行 ('mv' ) 使目标打开

Question

我有一个脚本，它使用一个非常简单的基于文件的 IPC 来与另一个程序通信。我写了一个包含新内容的 tmp 文件，并将它 mv 到 IPC 文件中，以保持内容原子化(另一个程序监听重命名事件)。

但现在问题来了:这工作了 2 或 3 次，但随后交换被卡住了。

time.sleep(10)
# check lsof => target file not opened
subprocess.run(
    "mv /tmp/tempfile /tmp/target",
    stdout=subprocess.PIPE,
    stderr=subprocess.PIPE,
    universal_newlines=True,
    shell=True,
)
# check lsof => target file STILL open
time.sleep(10)

/tmp/tempfile 将为每次写入做好准备

第一次运行结果:

$ lsof /tmp/target
COMMAND  PID        USER   FD   TYPE DEVICE SIZE/OFF  NODE NAME
python  1714      <user>   3u   REG   0,18      302 10058 /tmp/target

在我终止主 python 程序之前，它一直保持打开状态。连续运行会按预期更改内容、inode 和文件描述符，但它仍然打开，这是我对 mv 不期望的。

当具有上述这些行的 python 程序关闭时，文件最终被关闭。

编辑:

发现错误:错误处理 tempfile.mkstemp()。请参阅:https://docs.python.org/3/library/tempfile.html#tempfile.mkstemp

我像这样创建了临时文件:

_fd, temp_file_path = tempfile.mkstemp()

我在其中丢弃了默认打开的文件描述符_fd。我没有关闭它，所以即使在移动之后它仍然打开。这导致了一个打开的目标，因为我只是在目标上 lsofing，所以我没有看到临时文件已经打开。这将是更正后的版本:

fd, temp_file_path = tempfile.mkstemp()
fd.write(content)
fd.close()

# ... mv/rename via shell execution/shutil/pathlib

非常感谢大家的帮助和建议!

Answer 1

我无法重现此行为。我创建了一个文件 /tmp/tempfile并使用 subprocess.run 运行一个 python 脚本给你打电话，然后是长时间的 sleep 。 /tmp/target未被使用，我也没有在 lsof -p <pid> 中看到任何意外打开的文件.

(编辑)我对此并不感到惊讶，因为您的子进程命令无法打开文件:mv不打开它的参数(你可以用 ltrace 来检查)和 subprocess.run除了将其传递为 exec 外，不解析其参数或对其执行任何操作-编辑。

但是，当我添加一些行来打开文件并写入文件然后移动该文件时，我看到了与您描述的相同的行为。这是代码:

import subprocess
out=open('/tmp/tempfile', 'w')
out.write('hello')
subprocess.run(
    "mv /tmp/tempfile /tmp/target",
    stdout=subprocess.PIPE,
    stderr=subprocess.PIPE,
    universal_newlines=True,
    shell=True,
)
import time
time.sleep(5000)

在这种情况下，文件仍处于打开状态，因为它从未关闭过，即使它已重命名，原始文件句柄仍然存在。我敢打赌，您的代码中有类似的内容来创建此文件并打开它的句柄。