ruby-on-rails - 检查 Nokogiri HTML 文档是否可用

Question

我想检查用户输入的 URL 实际上是否是一个有效页面。

我试过:

if Nokogiri::HTML(open("http://example.com"))
  #DO REQUIRED TASK
end

但这会在尝试打开页面时立即引发错误。我想返回它是否是任何类型的文档的结果。

我要么得到错误:

no such file or directory

或:

getaddrinfo: Name or service not known

取决于我尝试进行检查的方式。

Answer 1

我会从这样的事情开始:

require 'nokogiri'
require 'open-uri'

begin
  doc = Nokogiri.HTML(open(url))
rescue Exception => e
  puts "Couldn't read \"#{ url }\": #{ e }"
  exit
end

puts (doc.errors.empty?) ? "No problems found" : doc.errors

Nokogiri 将文档的 errors 数组设置为解析过程中发生的任何错误的值。

但这只解决了问题的一部分。恶意的人喜欢破坏东西，这很容易破坏。一般来说，要非常小心用户给你的任何东西，尤其是当你的网站暴露在野蛮的互联网上时。

在告诉 OpenURI 加载文件以提供给 Nokogiri 之前，您应该嗅探该 URL 并使用 HTTP HEAD 进行一些健全性检查。请求找出正在检索的内容的大小和 MIME-TYPE。了解这些后，您可以尝试加载文件。