gpt4 book ai didi

ruby - 如何使用 socksify gem(代理)抓取网站

转载 作者:数据小太阳 更新时间:2023-10-29 08:47:56 26 4
gpt4 key购买 nike

我正在阅读 socksify gem 的文档在 Rubyforge 上。我已成功安装 gem,并且已成功运行此文档代码以测试我的本地实现是否可以复制它:

require 'socksify/http'
uri = URI.parse('http://rubyforge.org/')
Net::HTTP.SOCKSProxy('127.0.0.1', 9050).start(uri.host, uri.port) do |http|
http.get(uri.path)
end
# => #<Net::HTTPOK 200 OK readbody=true>

但是我怎么办,例如抓取 'http://google.com/',并获取 html 内容?我想用例如解析它像这样的 Nokogiri:

Nokogiri::HTML(open("http://google.com/))

最佳答案

 require 'socksify/http'
http = Net::HTTP::SOCKSProxy(addr, port)
html = http.get(URI('http://google.de'))
html_doc = Nokogiri::HTML(html)

关于ruby - 如何使用 socksify gem(代理)抓取网站,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21752838/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com