linux - 使用Wget跳过成功下载的文件

Question

所以我有这个 Bash 子例程来使用 wget 下载文件，我现在的问题是如何跳过成功下载的文件。该脚本会下载很多文件，一旦下载失败，它会重新下载所有文件，从头开始覆盖那些成功下载的文件(由于重新下载可能不完整)。

那么如何跳过那些下载成功的文件呢？

DownloadFile() {
  paramURL=$1
  paramFilename=$2

  if [ $flag_archive_fetch = "false"  ];
  then
      wget "--timeout=180" "--tries=5" "$paramURL" "-O" "${scratch_dir}$paramFilename"
  else
      unzip -o "$archive_file" "$paramFilename" -d "${scratch_dir}"
  fi

  touch "${scratch_dir}$paramFilename"
}

Answer 1

您可以利用 Wget --continue(恢复中断的下载)和 --timestamping (仅当 Last-modified 属性改变时覆盖成功下载的文件，否则跳过下载)

wget "--continue ‐‐timestamping --timeout=180" "--tries=5" "$paramURL" "-O" "${scratch_dir}$paramFilename"

另一种选择是使用 --no-clobber 而不是 --timestamping，它会跳过已经下载的文件而不检查 Last-modified属性，

 wget "--continue ‐‐no-clobber --timeout=180" "--tries=5" "$paramURL" "-O" "${scratch_dir}$paramFilename"