- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
如果有 python 脚本执行此操作:
with open('large_input_file.log', 'rb') as f :
for each_line in f :
do something .....
我们称这个脚本为a.py
large_input_file.log
大约为 16GB。 a.py
将花费数小时来处理此文件。
如果我这样做(在 Linux 下)会发生什么:
保持a.py
运行
删除 large_input_file.log
将large_input_file.log
替换为内容不同但名称相同
a.py
是否能够在删除之前在 large_input_file.log
中获取正确的数据? (我想这就是会发生的事情。)
或者 a.py
会在新的 large_input_file.log
中获取以相同偏移量开始的新数据
您能从内核级别或文件系统级别解释一下吗? (linux 是如何做到这一点的)?
----------------下面是一些回答后添加的------------------------
如果我的磁盘大小是 16Gb,那么只能存储一个 large_input_file.log
。
如果我删除 large_input_file.log
并创建另一个 16Gb large_input_file.log
文件会怎样?
最佳答案
让我们创建一个文件:
# echo foo > test.txt
现在我们将使用 tail
来监视它的变化:
# tail -f test.txt
foo
让我们在终端上打开另一个选项卡,检查 tail
进程的 pid:
# ps aux | grep -i tail
root 5458 0.0 0.0 7484 724 ? S Sep15 0:13 tail -f -n 0 /var/log/syslog
root 5919 0.0 0.0 7484 784 ? S Sep15 0:13 tail -f -n 0 /var/log/syslog
root 6381 0.0 0.0 7484 840 ? S Sep15 0:14 tail -f -n 0 /var/log/syslog
emil 27789 0.0 0.0 8852 784 pts/8 S+ 12:26 0:00 tail -f test.txt
emil 27826 0.0 0.0 15752 1016 pts/9 S+ 12:26 0:00 grep -i tail
所以,在我的例子中,pid 是 27789。我们可以通过检查 /proc/27789/fd
目录来查看进程的打开文件:
# ls -lah /proc/27789/fd/
total 0
dr-x------ 2 emil emil 0 Sep 20 12:26 .
dr-xr-xr-x 9 emil emil 0 Sep 20 12:26 ..
lrwx------ 1 emil emil 64 Sep 20 12:26 0 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 1 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 2 -> /dev/pts/8
lr-x------ 1 emil emil 64 Sep 20 12:26 3 -> /home/emil/test.txt
lr-x------ 1 emil emil 64 Sep 20 12:26 4 -> anon_inode:inotify
这里我们看到 tail
有一个名为 3 的文件描述符到 test.txt
。如果我们删除文件怎么办?
# rm test.txt
# ls -lah /proc/27789/fd
total 0
dr-x------ 2 emil emil 0 Sep 20 12:26 .
dr-xr-xr-x 9 emil emil 0 Sep 20 12:26 ..
lrwx------ 1 emil emil 64 Sep 20 12:26 0 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 1 -> /dev/pts/8
lrwx------ 1 emil emil 64 Sep 20 12:26 2 -> /dev/pts/8
lr-x------ 1 emil emil 64 Sep 20 12:26 3 -> /home/emil/test.txt (deleted)
lr-x------ 1 emil emil 64 Sep 20 12:26 4 -> anon_inode:inotify
文件描述符仍然存在,但是 ls
会帮助我们知道文件已被删除。
正如 Igor 所说,每个文件在原始数据所在的磁盘上都有一个物理位置。为了找到文件,系统维护了一个 inode 表,将文件名映射到实际数据。删除文件不会删除磁盘中的数据,它只是修改 inode。数据将仍然存在,直到它被其他东西明确覆盖。但是,在这种特定情况下,内核包含额外的代码以确保文件继续存在 - 并且不会被覆盖 - 直到它不再被任何进程打开。
关于python - 如果在某些程序正在从该文件读取数据时删除输入文件,会发生什么情况?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39591109/
尝试使用集成到 QTCreator 的表单编辑器,但即使我将插件放入 QtCreator.app/Contents/MacOS/designer 也不会显示。不过,相同的 dylib 文件确实适用于独
在此代码示例中。 “this.method2();”之后会读到什么?在返回returnedValue之前会跳转到method2()吗? public int method1(int returnedV
我的项目有通过gradle配置的依赖项。我想添加以下依赖项: compile group: 'org.restlet.jse', name: 'org.restlet.ext.apispark', v
我将把我们基于 Windows 的客户管理软件移植到基于 Web 的软件。我发现 polymer 可能是一种选择。 但是,对于我们的使用,我们找不到 polymer 组件具有表格 View 、下拉菜单
我的项目文件夹 Project 中有一个文件夹,比如 ED 文件夹,当我在 Eclipse 中指定在哪里查找我写入的文件时 File file = new File("ED/text.txt"); e
这是奇怪的事情,这个有效: $('#box').css({"backgroundPosition": "0px 250px"}); 但这不起作用,它只是不改变位置: $('#box').animate
这个问题在这里已经有了答案: Why does OR 0 round numbers in Javascript? (3 个答案) 关闭 5 年前。 Mozilla JavaScript Guide
这个问题在这里已经有了答案: Is the function strcmpi in the C standard libary of ISO? (3 个答案) 关闭 8 年前。 我有一个问题,为什么
我目前使用的是共享主机方案,我不确定它使用的是哪个版本的 MySQL,但它似乎不支持 DATETIMEOFFSET 类型。 是否存在支持 DATETIMEOFFSET 的 MySQL 版本?或者有计划
研究 Seam 3,我发现 Seam Solder 允许将 @Named 注释应用于包 - 在这种情况下,该包中的所有 bean 都将自动命名,就好像它们符合条件一样@Named 他们自己。我没有看到
我知道 .append 偶尔会增加数组的容量并形成数组的新副本,但 .removeLast 会逆转这种情况并减少容量通过复制到一个新的更小的数组来改变数组? 最佳答案 否(或者至少如果是,则它是一个错
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
noexcept 函数说明符是否旨在 boost 性能,因为生成的对象中可能没有记录异常的代码,因此应尽可能将其添加到函数声明和定义中?我首先想到了可调用对象的包装器,其中 noexcept 可能会产
我正在使用 Angularjs 1.3.7,刚刚发现 Promise.all 在成功响应后不会更新 angularjs View ,而 $q.all 会。由于 Promises 包含在 native
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我正在编写一个玩具(物理)矢量库,并且遇到了 GHC 坚持认为函数应该具有 Integer 的问题。是他们的类型。我希望向量乘以向量以及标量(仅使用 * ),虽然这可以通过仅使用 Vector 来实现
PHP 的 mail() 函数发送邮件正常,但 Swiftmailer 的 Swift_MailTransport 不起作用! 这有效: mail('user@example.com', 'test
我尝试通过 php 脚本转储我的数据,但没有命令行。所以我用 this script 创建了我的 .sql 文件然后我尝试使用我的脚本: $link = mysql_connect($host, $u
使用 python 2.6.4 中的 sqlite3 标准库,以下查询在 sqlite3 命令行上运行良好: select segmentid, node_t, start, number,title
我最近发现了这段JavaScript代码: Math.random() * 0x1000000 10.12345 10.12345 >> 0 10 > 10.12345 >>> 0 10 我使用
我是一名优秀的程序员,十分优秀!