c++ - fallocate 与 posix_fallocate

Question

我正在讨论在 posix_fallocate 和 fallocate 之间使用哪个函数。posix_fallocate 立即写入文件(将字符初始化为 NULL)。但是，fallocate 不会更改文件大小(使用 FALLOC_FL_KEEP_SIZE 标志时)。根据我的实验，fallocate 似乎不会将 NULL 或零字符写入文件。

有人可以根据您的经验发表评论吗？感谢您的宝贵时间。

Answer 1

文件占用的存储空间超过其显示长度的情况并不常见，因此除非您有充分的理由这样做(例如，您想使用文件长度来跟踪下载了多长时间，因为恢复它的目的)，最好使用默认的 fallocate(2) 行为。 (没有 FALLOC_FL_KEEP_SIZE)。这与 posix_fallocate(3) 的语义相同。

fallocate(2) 的手册页甚至说它的默认行为(无标志)旨在作为实现 posix_fallocate(3) 的最佳方式，并指出这是分配空间的可移植方式。

最初的问题说的是关于将零写入文件的内容。这些调用都只写入元数据。如果您从已预分配但尚未写入的空间读取，您将得到零(不是该磁盘空间之前的任何内容，这将是一个很大的安全漏洞)。您最多只能读取文件末尾(长度，由 fallocate、ftruncate 或各种其他方式设置)，因此如果您有一个零长度文件并使用 FALLOC_FL_KEEP_SIZE fallocate，那么您将无法读取任何内容。与预分配无关，只是文件大小语义。

因此，如果您对 POSIX 语义没问题，请使用它，因为它更便携。每个 GNU/Linux 系统都将支持 posix_fallocate(3)，但其他一些系统也会支持。

但是，由于 POSIX 语义，事情并没有那么简单。如果您在不支持预分配的文件系统上使用它，它仍然会成功，但是通过回退到在文件的每个 block 中实际写入一个零来实现。

测试程序:

#include <fcntl.h>
int main() {
    int fd = open("foo", O_RDWR|O_CREAT, 0666);
    if (fd < 0) return 1;
    return posix_fallocate(fd, 0, 400000);
}

在 XFS 上

$ strace ~/src/c/falloc
...
open("foo", O_RDWR|O_CREAT, 0666) = 3
fallocate(3, 0, 0, 400000)              = 0
exit_group(0)                           = ?

在 fat32 闪存驱动器上:

open("foo", O_RDWR|O_CREAT, 0666) = 3
fallocate(3, 0, 0, 400000)              = -1 EOPNOTSUPP (Operation not supported)
fstat(3, {st_mode=S_IFREG|0755, st_size=400000, ...}) = 0
fstatfs(3, {f_type="MSDOS_SUPER_MAGIC", f_bsize=65536, f_blocks=122113, f_bfree=38274, f_bavail=38274, f_files=0, f_ffree=0, f_fsid={2145, 0}, f_namelen=1530, f_frsize=65536}) = 0
pread(3, "\0", 1, 6783)                 = 1
pwrite(3, "\0", 1, 6783)                = 1
pread(3, "\0", 1, 72319)                = 1
pwrite(3, "\0", 1, 72319)               = 1
pread(3, "\0", 1, 137855)               = 1
pwrite(3, "\0", 1, 137855)              = 1
pread(3, "\0", 1, 203391)               = 1
pwrite(3, "\0", 1, 203391)              = 1
pread(3, "\0", 1, 268927)               = 1
pwrite(3, "\0", 1, 268927)              = 1
pread(3, "\0", 1, 334463)               = 1
pwrite(3, "\0", 1, 334463)              = 1
pread(3, "\0", 1, 399999)               = 1
pwrite(3, "\0", 1, 399999)              = 1
exit_group(0)                           = ?

如果文件还没有那么长，它确实避免了读取，但是写入每个 block 仍然很糟糕。

如果您想要简单的东西，我仍然会选择 posix_fallocate。它有一个 FreeBSD 手册页，它由 POSIX 指定，因此每个 POSIX 兼容系统都提供它。一个缺点是在不支持预分配的文件系统上使用 glibc 会很糟糕。参见示例 https://plus.google.com/+AaronSeigo/posts/FGtXM13QuhQ .对于处理大文件(例如种子)的程序，这可能非常糟糕。

您可以感谢 POSIX 语义要求 glibc 执行此操作，因为它没有为“文件系统不支持预分配”定义错误代码。 http://pubs.opengroup.org/onlinepubs/009695399/functions/posix_fallocate.html .它还保证如果调用成功，后续写入分配的区域不会因磁盘空间不足而失败。因此 posix 设计没有提供一种方法来处理调用者关心效率/性能/碎片而不是磁盘空间保证的情况。这会强制 POSIX 实现执行读写循环，而不是将其作为需要磁盘空间保证的调用方的选项。感谢 POSIX...

我不知道当文件系统不支持预分配时，posix_fallocate 的非 GNU 实现是否同样会退回到极慢的读写行为。 (FreeBSD、Solaris？)。显然 OS X (Darwin) 没有实现 posix_fallocate，除非它是最新的。

如果您希望在许多平台上支持预分配，但又不想回退到先读后写(如果操作系统有办法尝试预分配)，则您必须使用任何可用的特定于平台的方法。例如查看 https://github.com/arvidn/libtorrent/blob/master/src/file.cpp

搜索 file::set_size。它有几个 ifdeffed block ，具体取决于编译目标支持的内容，从 Windows 代码开始加载 DLL 并在那里执行操作，然后是 fcntl F_PREALLOCATE 或 fcntl F_ALLOCSP64，然后是 Linux fallocate(2)，然后退回到使用 posix_fallocate。此外，还找到了 OS X Darwin 的 2007 列表帖子:http://lists.apple.com/archives/darwin-dev/2007/Dec/msg00040.html