perl - 如何使用 Perl 从网站下载链接目标？

Question

我刚刚制作了一个脚本来从网站上获取链接，然后将它们保存到一个文本文件中。

现在我正在处理我的正则表达式，所以它会抓取包含 php?dl= 的链接。在文本文件的 url 中:

例如:www.example.com/site/admin/a_files.php?dl=33931
当您将鼠标悬停在 dl 上时，它几乎就是您获得的地址。网站上的按钮。您可以从中单击下载或“右键单击保存”。

我只是想知道如何实现这一点，必须下载给定地址的内容，该地址将下载 *.txt文件。当然，一切都来自剧本。

Answer 1

制作 WWW::Mechanize 你最好的新 friend 。

原因如下:

它可以识别网页上与特定正则表达式匹配的链接(在本例中为 /php\?dl=/)

它可以通过 follow_link 跟踪这些链接。方法

可以get这些链接的目标并将它们保存到文件

所有这一切都无需将您想要的链接保存在中间文件中!当您拥有适合工作的工具时，生活就会变得甜蜜...

示例

use strict;
use warnings;
use WWW::Mechanize;

my $url  = 'http://www.example.com/';
my $mech = WWW::Mechanize->new();

$mech->get ( $url );

my @linksOfInterest = $mech->find_all_links ( text_regex => qr/php\?dl=/ );

my $fileNumber++;

foreach my $link (@linksOfInterest) {

    $mech->get ( $link, ':contentfile' => "file".($fileNumber++).".txt" );
    $mech->back();
}