gpt4 book ai didi

python - 如果在某些程序正在从该文件读取数据时删除输入文件,会发生什么情况?

转载 作者:太空狗 更新时间:2023-10-29 11:28:51 41 4
gpt4 key购买 nike

如果有 python 脚本执行此操作:

with open('large_input_file.log', 'rb') as f :
for each_line in f :
do something .....

我们称这个脚本为a.py

large_input_file.log 大约为 16GB。 a.py 将花费数小时来处理此文件。

如果我这样做(在 Linux 下)会发生什么:

  1. 保持a.py运行

  2. 删除 large_input_file.log

  3. large_input_file.log替换为内容不同但名称相同

a.py 是否能够在删除之前在 large_input_file.log 中获取正确的数据? (我想这就是会发生的事情。)

或者 a.py 会在新的 large_input_file.log 中获取以相同偏移量开始的新数据

您能从内核级别或文件系统级别解释一下吗? (linux 是如何做到这一点的)?

----------------下面是一些回答后添加的------------------------

如果我的磁盘大小是 16Gb,那么只能存储一个 large_input_file.log

如果我删除 large_input_file.log 并创建另一个 16Gb large_input_file.log 文件会怎样?

最佳答案

让我们创建一个文件:

# echo foo > test.txt

现在我们将使用 tail 来监视它的变化:

# tail -f test.txt
foo

让我们在终端上打开另一个选项卡,检查 tail 进程的 pid:

# ps aux | grep -i tail
root 5458 0.0 0.0 7484 724 ? S Sep15 0:13 tail -f -n 0 /var/log/syslog
root 5919 0.0 0.0 7484 784 ? S Sep15 0:13 tail -f -n 0 /var/log/syslog
root 6381 0.0 0.0 7484 840 ? S Sep15 0:14 tail -f -n 0 /var/log/syslog
emil 27789 0.0 0.0 8852 784 pts/8 S+ 12:26 0:00 tail -f test.txt
emil 27826 0.0 0.0 15752 1016 pts/9 S+ 12:26 0:00 grep -i tail

所以,在我的例子中,pid 是 27789。我们可以通过检查 /proc/27789/fd 目录来查看进程的打开文件:

# ls -lah /proc/27789/fd/
total 0
dr-x------ 2 emil emil 0 Sep 20 12:26 .
dr-xr-xr-x 9 emil emil 0 Sep 20 12:26 ..
lrwx------ 1 emil emil 64 Sep 20 12:26 0 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 1 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 2 -> /dev/pts/8
lr-x------ 1 emil emil 64 Sep 20 12:26 3 -> /home/emil/test.txt
lr-x------ 1 emil emil 64 Sep 20 12:26 4 -> anon_inode:inotify

这里我们看到 tail 有一个名为 3 的文件描述符到 test.txt。如果我们删除文件怎么办?

# rm test.txt
# ls -lah /proc/27789/fd
total 0
dr-x------ 2 emil emil 0 Sep 20 12:26 .
dr-xr-xr-x 9 emil emil 0 Sep 20 12:26 ..
lrwx------ 1 emil emil 64 Sep 20 12:26 0 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 1 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 2 -> /dev/pts/8
lr-x------ 1 emil emil 64 Sep 20 12:26 3 -> /home/emil/test.txt (deleted)
lr-x------ 1 emil emil 64 Sep 20 12:26 4 -> anon_inode:inotify

文件描述符仍然存在,但是 ls 会帮助我们知道文件已被删除。

正如 Igor 所说,每个文件在原始数据所在的磁盘上都有一个物理位置。为了找到文件,系统维护了一个 inode 表,将文件名映射到实际数据。删除文件不会删除磁盘中的数据,它只是修改 inode。数据将仍然存在,直到它被其他东西明确覆盖。但是,在这种特定情况下,内核包含额外的代码以确保文件继续存在 - 并且不会被覆盖 - 直到它不再被任何进程打开。

关于python - 如果在某些程序正在从该文件读取数据时删除输入文件,会发生什么情况?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39591109/

41 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com