javascript - 我如何使用 Perl 抓取一个用 JavaScript 显示其内容的网站？

Question

我需要编写一个 Perl 脚本来抓取网站。该网站只能使用 JavaScript 进行抓取，并且用户使用的是 Windows。

我对 Win32::IE::Mechanize 有所了解在装有 IE6 的工作机器上，但后来我转移到装有 IE8 的上网本上，甚至无法获取一个简单的页面。

Win32::IE::Mechanize 是否与最新版本的 IE 保持同步？

但是，更重要的是，鉴于最近的 WinXP 机器，抓取仅通过 JavaScript 显示其内容的网站的最快、最简单的方法是什么？

Answer 1

WWW::Selenium .

• 它允许您指定要使用的浏览器(从一开始就支持 IE 和 Firefox)
• 它支持通过 xpath 元素、表 ID、文本(正则表达式匹配!)和 URL 访问元素
• 它提供了瑞士军刀般的用户交互选项，让您可以灵活地选择希望如何模拟最终用户浏览

您需要下载 Selenium Remote Control并让它在后台运行以使模块工作。

如果您的页面加载时间不可预测，这可能不是一个好的选择。