python - 在 python 中只下载新文件(wget -N)

Question

我正在尝试使用 python 包来下载新文件。我所能做的就是下载像

outdir = ""
url = ""
filename = wget.download(url, out=outdir)

但是我怎样才能告诉 wget 只下载新文件呢？在命令行中我用

做到了

wget -N url

仅下载新文件。 python 包 wget 似乎没有任何与 -N 标志等效的东西？有谁知道是否有办法用 python 的 wget 来做到这一点，或者是否有另一个 python 包可以做到这一点？

Answer 1

如果这是wget如果您正在谈论的库，那么它是构建在 urllib 之上的，而不是作为 wget 的包装器。所以你有几个选择。

• 如果您想要此库的 -N 功能，您必须自己实现它。 Here这就是 wget 确定什么是新文件的方式。有 3 种不同的技术可用于实现此目的。它查找尚不存在的文件名。对于 HTTP，它会查找 Last-Modified header 。对于 FTP，它使用 LIST 命令，然后尝试解析输出，就好像输出与 ls -l 命令的输出相同。

• 如果您在路径中具有 wget 可执行文件的系统上运行此脚本，则可以使用子进程。

这是代码。

import subprocess
url = ''
subprocess.Popen(['wget', '-N', url])