linux - 检查我的站点文件的站点

Question

有没有一个程序爬取指定的网站，如果有引用另一个网站就会吐出来？我有图片、视频文件、pdf 等。我需要将其交给其他开发人员以完成到他们新服务器的移植。

我刚刚将一个旧站点转让给另一个人，他们仍在使用我的文件。我不知道 100% 是所有文件，我想确定我需要给他们什么文件。如果有像 linkchecker 这样可以爬行的东西会很好，如果有对网站根目录(例如 sub.domain.com)的引用，那么它会吐出关于它的信息(什么页面，什么是 url)。

此时我不想阻止该网站使用这些文件，所以它已经出局了。

我在 Mac 上，所以任何终端程序都可以。

Answer 1

你可以试试 Sitesucker它可用于下载站点上使用的所有文件(以及它链接到的任何文件，具体取决于设置)。它是 OSX(和 iPhone)捐赠软件，所以这可能正是您要找的。我相信它会为其下载的文件创建一个日志文件，因此如果您只想将 URL 发送给您的同事而不是实际文件，您可以发送该日志文件。