gpt4 book ai didi

ftp - 使用许多目录加速 lftp 镜像

转载 作者:行者123 更新时间:2023-12-04 14:29:52 26 4
gpt4 key购买 nike

我正在尝试将公共(public) FTP 镜像到本地目录。当我使用 wget -m {url} 时,当我使用 lftp open -u user,pass {网址}; mirror 然后 lftp 在决定是否下载文件之前为每个文件发送 MDTM。在 5 万多个目录中有 200 万多个文件,这非常慢,此外我还收到无法获取目录 MDTM 的错误消息。

在手册中它说使用set sync-mode off 将导致一次发送所有请求,因此lftp 不会等待每个响应。当我这样做时,我从服务器收到错误消息,指出来 self 的 IP 地址的连接太多。

我尝试先运行 wget 以仅下载较新的文件,但这不会删除从 FTP 服务器删除的文件,因此我跟进了 lftp删除旧文件,但是 lftp 仍然在每个文件上发送 MDTM,这意味着这种方法没有优势。

如果我使用 set ftp:use-mdtm off,那么 lftp 似乎只是再次下载所有文件。

有人可以建议对包含大量目录/文件的 lftp 进行正确设置吗(具体来说,它会跳过未更新的目录,就像 wget 似乎做的那样)?

最佳答案

第一次调用时使用 set ftp:use-mdtm offmirror --ignore-time 以避免重新下载所有文件。

您也可以尝试升级 lftp 和/或使用 set ftp:use-mlsd on,在这种情况下,lftp 将从 MLSD 命令获得精确的文件修改时间输出(前提是服务器支持该命令)。

关于ftp - 使用许多目录加速 lftp 镜像,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36666680/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com