ruby-on-rails - Rails中的网络爬虫从网页中提取链接和下载文件

Question

我正在使用 RoR，我将在我的应用程序中指定一个网页链接，这是我想要做的事情

(1)我要提取网页中的所有链接

(2) 判断是否是pdf文件的链接(基本上是模式匹配)

(3)我想下载链接中的文件(例如pdf)并将它们存储在我的系统上。

我尝试使用 Anemone，但它会抓取整个网站，这超出了我的需求，而且我该如何下载相应链接中的文件？

干杯

Answer 1

看看Nokogiri还有。

require 'nokogiri'
require 'open-uri'
doc = Nokogiri::HTML(open('http://www.thatwebsite.com/downloads'))

doc.css('a').each do |link|
  if link['href'] =~ /\b.+.pdf/
    begin
      File.open('filename_to_save_to.pdf', 'wb') do |file|
        downloaded_file = open(link['href'])
        file.write(downloaded_file.read())
      end
    rescue => ex
      puts "Something went wrong...."
    end
  end
end

你可能想做一些更好的异常捕获，但我想你明白了:)