ruby - 如何在 Ruby 上获取包含所有对象的 HTML 页面

Question

我需要获取包含所有对象(样式表、javascript、图像)的 HTML 页面并将数据存储在数据库中。可以通过简单地获取 src 属性中列出的文件来实现这一点，但也许有人可以为此建议任何帮助 gem 。

此外，有没有办法将所有这些文件打包成一个文件(如 web archieve)，大多数浏览器都可以打开？

谢谢

Answer 1

你可以使用 mechanize做这个工作:

require "rubygems"
require "mechanize"

url = "http://stackoverflow.com/"
agent = WWW::Mechanize.new
page = agent.get(url)


page.search('img[@src]').each do |image|
  src = image["src"]
  image_file = agent.get(src) if src
  # Store image_file data it in database ...  
end

page.search('link[rel="stylesheet"]').each do |css|
  src = css["src"]
  css_file = agent.get(src) if src
  # Store css_file data it in database ...  
end

page.search('script[type="text/javascript"]').each do |script|
  src = script["src"]
  script_file = agent.get(src) if src
  # Store script_file data it in database ...    
end

您仍然需要处理异常并修复具有相关 src 属性的资源。但这应该可以完成工作。但是，此解决方案不会获取样式表中引用的图像。