perl - 编写可维护的网络抓取应用程序的最佳方法是什么？

Question

我不久前编写了一个 Perl 脚本，它登录到我的网上银行，并每天通过电子邮件向我发送我的余额和迷你报表。我发现它对于跟踪我的财务状况非常有用。唯一的问题是我只使用 perl 和 curl 编写它，并且非常复杂且难以维护。在我的银行几次更改其网页后，我厌倦了调试它以使其保持最新状态。

那么以易于维护的方式编写这样的程序的最佳方法是什么？我想用 Perl 或 Java 编写一个设计精良的版本，当银行不可避免地修改其网站时，该版本将很容易更新。

Answer 1

在 Perl 中，类似 WWW::Mechanize已经可以使您的脚本更加简单和健壮，因为它可以在网站之前的响应中找到 HTML 表单。您可以填写这些表格来准备新的请求。例如:

my $mech = WWW::Mechanize->new();
$mech->get($url);
$mech->submit_form(
    form_number => 1,
    fields      => { password => $password },
);
die unless ($mech->success);