javascript - 使用 Ruby on Rails 和 Nokogiri 抓取 JavaScript 加载的 HTML

Question

我正在尝试在网站上抓取产品名称。

我的 Controller 执行以下操作:

page = Nokogiri::HTML(open(PAGE_URL))
@items_array = page.css("li.item h3")

然后在 View 中将其显示为:

<%= @items_array.each do |item| %>
<%= item.text %><br /><br />
<% end %>

问题是仅加载前 10 个项目的 HTML。其余部分由 JavaScript 生成。我似乎无法弄清楚到底是怎么回事。

任何有关如何抓取其余内容的想法都非常感谢!

Answer 1

这不会起作用。 Nokogiri 无法抓取页面上没有的任何内容，并且就我所看到的(使用浏览器上的“查看源代码”)而言，列表的很大一部分不是 HTML。在这种情况下，如何加载它是无关紧要的(可能使用 JavaScript)。

最好的选择是询问他们是否公开了您可以使用的 API(这将使您的工作更加轻松)。

抓取非常脆弱，因为它取决于页面的确切布局。