linux - 复制一个 1TB 的稀疏文件

Question

我得到了一个 1TB 的稀疏文件，它在 Linux 上实际存储了 32MB 的数据。

是否可以“高效”地制作一个包来存储稀疏文件？该包应在另一台计算机上解压为 1TB 的稀疏文件。理想情况下，“包”应该在 32MB 左右。

注意:可能的解决方案是使用“tar”:https://wiki.archlinux.org/index.php/Sparse_file#Archiving_with_.60tar.27

但是，对于一个 1TB 的稀疏文件，虽然 tar 包可能很小，但归档稀疏文件将花费很长时间。

编辑 1

我测试了tar和gzip，结果如下(注意这个稀疏文件包含0字节的数据)。

$ du -hs sparse-1
0   sparse-1

$ ls -lha sparse-1
-rw-rw-r-- 1 user1 user1 1.0T 2012-11-03 11:17 sparse-1

$ time tar cSf sparse-1.tar sparse-1

real    96m19.847s
user    22m3.314s
sys     52m32.272s

$ time gzip sparse-1

real    200m18.714s
user    164m33.835s
sys     10m39.971s

$ ls -lha sparse-1*
-rw-rw-r-- 1 user1 user1 1018M 2012-11-03 11:17 sparse-1.gz
-rw-rw-r-- 1 user1 user1   10K 2012-11-06 23:13 sparse-1.tar

包含 0 字节数据的 1TB 文件 sparse-1 可以通过“tar”归档为 10KB 的 tar ball 或通过 gzip 压缩为约 1GB 的文件。 gzip 花费的时间大约是 tar 使用时间的 2 倍。

从比较来看，'tar' 似乎比 gzip 好。

但是，对于包含 0 字节数据的稀疏文件来说，96 分钟太长了。

编辑2

rsync 完成复制文件的时间似乎比 tar 多，但比 gzip 少:

$ time rsync --sparse sparse-1 sparse-1-copy

real    124m46.321s
user    107m15.084s
sys     83m8.323s

$ du -hs sparse-1-copy 
4.0K    sparse-1-copy

因此，对于这个极其稀疏的文件，tar + cp 或 scp 应该比直接 rsync 更快。

编辑3

感谢@mvp 指出新内核中的 SEEK_HOLE 功能。 (我以前在 2.6.32 Linux 内核上工作)。

注意:bsdtar 版本 >=3.0.4 是必需的(在此处检查:http://ask.fclose.com/4/how-to-efficiently-archive-a-very-large-sparse-file?show=299#c299)。

在较新的内核和 Fedora 版本 (17) 上，tar 和 cp 可以非常有效地处理稀疏文件。

[zma@office tmp]$ ls -lh pmem-1 

-rw-rw-r-- 1 zma zma 1.0T Nov  7 20:14 pmem-1
[zma@office tmp]$ time tar cSf pmem-1.tar pmem-1

real    0m0.003s
user    0m0.003s
sys 0m0.000s
[zma@office tmp]$ time cp pmem-1 pmem-1-copy

real    0m0.020s
user    0m0.000s
sys 0m0.003s
[zma@office tmp]$ ls -lh pmem*
-rw-rw-r-- 1 zma zma 1.0T Nov  7 20:14 pmem-1
-rw-rw-r-- 1 zma zma 1.0T Nov  7 20:15 pmem-1-copy
-rw-rw-r-- 1 zma zma  10K Nov  7 20:15 pmem-1.tar
[zma@office tmp]$ mkdir t
[zma@office tmp]$ cd t
[zma@office t]$ time tar xSf ../pmem-1.tar 

real    0m0.003s
user    0m0.000s
sys 0m0.002s
[zma@office t]$ ls -lha
total 8.0K
drwxrwxr-x   2 zma  zma  4.0K Nov  7 20:16 .
drwxrwxrwt. 35 root root 4.0K Nov  7 20:16 ..
-rw-rw-r--   1 zma  zma  1.0T Nov  7 20:14 pmem-1

我使用的是 3.6.5 内核:

[zma@office t]$ uname -a
Linux office.zhiqiangma.com 3.6.5-1.fc17.x86_64 #1 SMP Wed Oct 31 19:37:18 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

Answer 1

简答:使用 bsdtar 或 GNU tar(版本 1.29 或更高版本)创建存档，并使用 GNU tar(版本 1.26 或更高版本)将它们提取到另一个盒子。

长答案:有一些要求才能正常工作。

首先，Linux 必须至少是内核 3.1(Ubuntu 12.04 或更高版本就可以)，因此它支持 SEEK_HOLE 功能。

然后，您需要可以支持此系统调用的 tar 实用程序。 GNU tar 自 1.29 版本(2016/05/16 发布，自 Ubuntu 18.04 起默认存在)或 bsdtar 自版本 3.0.4(可用自 Ubuntu 12.04 起)- 使用 sudo apt-get install bsdtar 安装它。

虽然 bsdtar(使用 libarchive)很棒，但不幸的是，它在解压缩时不是很聪明 - 它愚蠢地要求至少有同样多的自由目标驱动器上的空间作为未压缩的文件大小，不考虑漏洞。 GNU tar 将有效地解压缩此类稀疏文件，并且不会检查此条件。

这是来自 Ubuntu 12.10(Linux 内核 3.5)的日志:

$ dd if=/dev/zero of=1tb seek=1T bs=1 count=1
1+0 records in
1+0 records out
1 byte (1 B) copied, 0.000143113 s, 7.0 kB/s

$ time bsdtar cvfz sparse.tar.gz 1tb 
a 1tb

real    0m0.362s
user    0m0.336s
sys 0m0.020s

# Or, use gnu tar if version is later than 1.29:
$ time tar cSvfz sparse-gnutar.tar.gz 1tb
1tb

real    0m0.005s
user    0m0.006s
sys 0m0.000s

$ ls -l
-rw-rw-r-- 1 autouser autouser 1099511627777 Nov  7 01:43 1tb
-rw-rw-r-- 1 autouser autouser           257 Nov  7 01:43 sparse.tar.gz
-rw-rw-r-- 1 autouser autouser           134 Nov  7 01:43 sparse-gnutar.tar.gz
$

就像我上面说的，不幸的是，除非你有 1TB 的可用空间，否则用 bsdtar 解压是行不通的。但是，任何版本的 GNU tar 都可以很好地解压缩这样的 sparse.tar:

$ rm 1tb 
$ time tar -xvSf sparse.tar.gz 
1tb

real    0m0.031s
user    0m0.016s
sys 0m0.016s
$ ls -l
total 8
-rw-rw-r-- 1 autouser autouser 1099511627777 Nov  7 01:43 1tb
-rw-rw-r-- 1 autouser autouser           257 Nov  7 01:43 sparse.tar.gz