http - 为什么通过 wget 的 HTTP 传输比 lftp/pget 更快？

Question

我正在构建需要通过 HTTP 和 FTP 进行大量文件传输的软件。很多时候，我使用多连接下载加速器(如 axel 或带 pget 的 lftp)获得更快的 HTTP 下载。在某些情况下，我发现使用类似以下内容的文件传输速度提高了 2 到 3 倍:

axel http://example.com/somefile

或

lftp -e 'pget -n 5 http://example.com/somefile;quit'

对比仅使用 wget:

wget http://example.com/somefile

但其他时候，wget 比 lftp 快得多。奇怪的是，即使我使用 get 执行 lftp 时也是如此，如下所示:

lftp -e 'pget -n 1 http://example.com/somefile;quit'

我知道通过多个连接下载文件并不总是会导致加速，这取决于带宽的限制方式。但是:为什么会慢一些？尤其是在使用 -n 1 调用 lftp/pget 时？

Answer 1

HTTP 服务器是否可能正在使用 gzip 压缩流？我不记得 wget 是否处理 gzip Content Encoding或不。如果是这样，那么这可能解释了性能提升。另一种可能性是管道中某处存在 HTTP 缓存。你可以尝试类似的东西

wget --no-cache --header="Accept-Encoding: identity"

并将此与基于 FTP 的传输时间进行比较。