javascript - 抓取动态表单 WWW::Mechanize Perl

Question

我正在尝试使用 WWW::Mechanize 模块从页面中抓取表单及其字段。

由于网页的主体是使用 document.write JS 调用创建的，因此该模块中的表单方法找不到我正在查找的表单，并且对 content 方法的调用会返回页面源。我需要访问 document.write 调用生成的 HTML。

使用机械化模块是否可以实现这一点？如果可以，我将如何去做？如果没有，还有其他 Perl 模块可以帮助我吗？谢谢!

Answer 1

我知道您支持 Perl 解决方案，但您可能会考虑 Ruby。我已经用 Perl 和 Ruby 完成了多个网页抓取脚本。我发现 Ruby 的网络抓取工作比 Perl 更好。

由于您在 Linux 上运行，Ruby 应该已经安装或者应该是一个简单的安装(假设您被允许在服务器上进行安装)。

您可以使用这三个 ruby​​ gem 进行自动化:

require 'watir-webdriver'
require 'selenium-webdriver'
require 'headless'

这些在网络抓取方面做得非常好。