gpt4 book ai didi

rsync - 在两个 NFS 1Gb/s 文件夹之间移动 9000 万个文件 (270GB) 的最快方法

转载 作者:行者123 更新时间:2023-12-04 21:34:31 24 4
gpt4 key购买 nike

我需要将 9000 万个文件从一个 NFS 文件夹移动到第二个 NFS 文件夹,到 NFS 文件夹的两个连接都使用相同的 eth0,即 1Gb/s 到 NFS 服务器,不需要同步,只需移动(如果存在则覆盖) .我认为我的主要问题是文件的数量,而不是总大小。最好的方法应该是减少每个文件对 NFS 文件夹的系统调用。

我试过cp,rsync,最后http://moo.nac.uci.edu/~hjm/parsync/ parsync 首先用了 10 个小时来生成 12 GB 的文件列表 gzip,在用了 40 个小时之后没有一个文件被复制,它一直工作到 10 个线程,直到我取消它并开始调试,我发现它正在调用 (stat ?) 再次使用 -vvv 选项(它使用 rsync)到每个文件(来自列表):

[sender] make_file(accounts/hostingfacil/snap.2017-01-07.041721/hostingfacil/homedir/public_html/members/vendor/composer/62ebc48e/vendor/whmcs/whmcs-foundation/lib/Domains/DomainLookup/Provider.php,*,0)*

parsync 命令是:
 time parsync  --rsyncopts="-v -v -v" --reusecache --NP=10 --startdir=/nfsbackup/folder1/subfolder2 thefolder /nfsbackup2/folder1/subfolder2

每个 rsync 都有这种形式:
rsync --bwlimit=1000000 -v -v -v -a --files-from=/root/.parsync/kds-chunk-9 /nfsbackup/folder1/subfolder2 /nfsbackup2/folder1/subfolder2

NFS 文件夹已挂载:
server:/export/folder/folder    /nfsbackup2   nfs      auto,noexec,noatime,nolock,bg,intr,tcp,actimeo=1800,nfsvers=3,vers=3 0 0

知道如何指示 rsync 将列表中已有的文件从 nfs 复制到 nfs2 文件夹吗?或者有什么方法可以有效地制作这个副本(每个文件一个系统调用?)

最佳答案

我在做同样的事情时遇到了问题,我发现最好只运行一个 find 命令并单独移动每个文件。

cd /origin/path
find . | cpio -updm ../destination/

-u command will override the existing files

关于rsync - 在两个 NFS 1Gb/s 文件夹之间移动 9000 万个文件 (270GB) 的最快方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42036986/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com