ruby - 获取谷歌搜索结果的正确方法是什么？

Question

我想在 google 上获取特定关键字搜索的所有搜索结果。我已经看到了抓取的建议，但这似乎是个坏主意。我见过 Gems(我计划使用 ruby​​)进行抓取并使用 API。我还看到了使用 API 的建议。

有谁知道现在最好的方法吗？ API 不再受支持，我看到有人报告说他们取回了无法使用的数据。 Gems 是否有助于解决这个问题？

提前致谢。

Answer 1

我也选择了抓取选项，它比向谷歌询问 key 和加号更快，而且您每天的搜索查询不限于 100 次。正如理查德指出的那样，谷歌的服务条款是一个问题。这是我做过的一个对我有用的例子——如果你想通过代理连接，它也很有用:

require 'rubygems'
require 'mechanize'

agent = Mechanize.new
agent.set_proxy '78.186.178.153', 8080
page = agent.get('http://www.google.com/')

google_form = page.form('f')
google_form.q = 'new york city council'

page = agent.submit(google_form, google_form.buttons.first)

page.links.each do |link|
    if link.href.to_s =~/url.q/
        str=link.href.to_s
        strList=str.split(%r{=|&}) 
        url=strList[1] 
        puts url
    end 
end