perl - wget 与 Perl 的 lwp 有何不同？

Question

我需要使用 wget，因为它能够像爬虫一样为我的项目开发一个爬虫。但是在谷歌搜索中，我看到人们推荐使用 LWP 而不是 Wget。你们能告诉我为什么会这样吗？

Answer 1

如果您正在编写 Perl 并需要发出 HTTP 请求，您通常应该使用 LWP。花钱去做一些在 Perl 进程中很容易支持的事情是愚蠢的。

如果你想做一些更复杂的事情，比如递归网络爬虫，你可能想看看 WWW::Mechanize或 Mojolicious CPAN 提供的模块。但到那时，利用已经具有递归网络爬取功能的外部工具可能是合理的。

如果您正在编写 shell 脚本而不是 Perl 程序，那么您别无选择，只能使用外部工具。 wget中的选择, curl ，而 LWP 脚本(lwp-request、GET 等)实际上归结为最适合您的用例的脚本。它们都具有大致相同的功能，但在一个工具中有些事情比其他工具更容易。使用您的系统随时可用的东西；通常有不止一个选项，在这种情况下，您应该全部尝试一下 - 阅读文档，尝试一些用例，看看您喜欢哪一个。