linux - 使用 wget 下载 shtml 页面上的所有 zip 文件

Question

我一直在尝试将此网站上的所有 zip 文件下载到 EC2 服务器。但是，它无法识别链接，因此不会下载任何内容。我认为这是因为 shtml 文件需要启用 SSI，这在某种程度上导致了 wget 问题。但我真的不明白那些东西。

这是我一直未能成功使用的代码。

wget -r -l1 -H -t1 -nd -N -np -A.zip -erobots=off http://www.fec.gov/finance/disclosure/ftpdet.shtml#a2015_2016

感谢您提供的任何帮助!

Answer 1

源代码中没有 zip 链接，这就是为什么您无法通过 wget 下载它们的原因, 它们是通过 javascript 生成的.文件列表“位于”内部 http://fec.gov//finance/disclosure/tables/foia_files_summary.xml在节点 <fec_file status="Archive"></fec_file> 下

您可以编写脚本来解析 xml文件并将节点转换为实际链接，因为它们具有模式。

---

更新:

作为@cyrus提到，这些文件也在ftp.fec.gov/FEC/上, 你可以使用 wget -m用于镜像 ftp 和 -A zip将下载限制为 zip 文件，即:

wget -A zip -m --user=anonymous --password=test@test.com ftp://ftp.fec.gov/FEC/

或wget -r

wget -A zip --ftp-user=anonymous --ftp-password=test@test.com -r ftp://ftp.fec.gov/FEC/*