ruby - 自动网页抓取问题-6ren

ruby - 自动网页抓取问题

转载作者：行者123 更新时间：2023-12-04 16:22:33

25

4

我正在开发一个相当大的自动化应用程序，从各种状态数据库中抓取各种废弃的属性信息，以便找到特定的属性。我已经使用各种形式的自动化为大约 8 个州网站开发了搜索脚本。我更喜欢使用 ruby 的 Mechanize 库之类的东西来执行自动化，因为这是我迄今为止遇到的最稳定的方法。在某些情况下，我无法使用 Mechanize 自动进行抓取，必须退回到 Watir 之类的东西(或者，更具体地说，Watir 的分支称为 Vapir)。当源需要搜索 javascript 时，特别需要 Vapir，因为 Mechanize 只发出 HTTP 请求，不处理 JS 解释。

我的问题是 Vapir 自动化 Internet Explorer 的一个实例。在某些情况下，经过长时间的搜索(其中一些搜索是针对 4,000 多个搜索词的列表)，IE 会锁定。我认为这是 OLE 引擎的问题。我收到的错误如下:

failed to create WIN32OLE object from `InternetExplorer.Application' HRESULT error code:0x80004005 Unspecified error

我找不到任何东西来解决这个问题。

我的问题是，是否有人知道锁定的自动化 OLE 实例的任何解决方案或变通方法？要修复该错误，我必须手动终止所有 IE 进程并重新启动自动搜索。

我所知道的替代方案是通过 Vapir 自动化 Firefox在后端(而不是 IE)，或者可能切换到类似 PhantomJS 的东西.有人对这两种选择有意见吗？

最佳答案

您是否有使用 Vapir 的原因？为什么不试试watir (驱动 Internet Explorer)或 watir-webdriver (驱动 Internet Explorer、Firefox、Chrome 和 Opera) gem ？

安装见 https://github.com/zeljkofilipin/watirbook/blob/master/installation/windows.md

关于ruby - 自动网页抓取问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7473245/

25

4

0

文章推荐： Python:如何修复此代码以使其在 Windows 上运行？

ruby - Ruby:Ruby Socket对象中的remote_address/local_address存放在哪里？
以下是一个非常简单的ruby服务器。 require 'socket' local_socket = Socket.new(:INET, :STREAM) local_addr = Socket.
ruby - 启动没有前缀 "Ruby"的 Ruby
我正在使用 OS X(使用 bash)，并且是 unix 的新手。我想知道是否可以修改一些文件以便运行 ruby 程序，我不需要“ruby file.rb”，而是可以运行“ruby.rb”。有理
ruby - ruby 如何完成这项任务(Ruby 中不区分大小写的字符串搜索和替换)？
我在用 Ruby 替换字符串时遇到一些问题。我的原文:人之所为不如兽之所为。我想替换为:==What== human does is not like ==what== animal does.
ruby - 从 Ruby 程序执行 Ruby 程序的最佳方式是什么？
我想在一个循环中从 Ruby 脚本做这样的事情: 写一个文件a.rb(每次迭代都会改变) 执行系统(ruby 'a.rb') a.rb 将带有结果的字符串写入文件“results” a.rb 完成并且
ruby-on-rails - Ruby on Rails - 需要为应用程序使用旧版本的 ruby
我的问题是尝试创建一个本地服务器，以便我可以理解由我的新团队开发的应用程序。我的问题是我使用的是 Ruby 2.3.3，而 Gemfile 需要 2.3.1。我无法编辑 Gemfile，因为我被告知很
ruby - 如何为用 Ruby 编写的 Ruby 命令行实用程序提供配置文件？
我有一个使用 GLI 框架用 Ruby 编写的命令行实用程序。我想在我的主目录中配置我的命令行实用程序，使用 Ruby 本身作为 DSL 来处理它(类似于 Gemfile 或 Rakefile)。我
ruby - 什么时候 Ruby 类不是那个 Ruby 类？
我的 Rails 应用 Controller 中有这段代码: def delete object = model.datamapper_class.first(:sourced_id =>
ruby - 您建议使用哪种 Ruby 解析器来解析 Ruby 源代码？
我正在寻找的解析器应该: 对 Ruby 解析友好，规则设计优雅，产生用户友好的解析错误，用户文档的数量应该比计算器示例多， UPD:允许在编写语法时省略可选的空格。快速解析不是一个重要的特性。
ruby - 有哪些设计良好的 Ruby 项目适合学习 Ruby 编码方式？
我刚开始使用 Ruby，听说有一种“Ruby 方式”编码。除了 Ruby on Rails 之外，还有哪些项目适合学习并被认可且设计良好？最佳答案 Prawn被明确地创建为不仅是一个该死的好 PDF
ruby - 如何创建无需在终端中调用 "Ruby"即可运行的 Ruby 应用程序？
我知道之前有人问过类似的问题，但是我该如何构建一个无需在前面输入“ruby”就可以在终端中运行的 Ruby 文件呢？这里的最终目标是创建一个命令行工具包类型的东西。现在，为了执行我希望用户能够执行的
ruby - 有没有更好的方法来判断一个 ruby 是否在另一个 ruby 中散列？
例如哈希a是{:name=>'mike',:age=>27,:gender=>'male'}哈希 b 是 {:name=>'mike'} 我想知道是否有更好的方法来判断 b 哈希是否在 a 哈希内，而
ruby - Ruby 和 Ruby on Rails 中的三层架构
我是一名决定学习 Ruby 和 Ruby on Rails 的 ASP.NET MVC 开发人员。我已经有所了解并在 RoR 上创建了一个网站。在 ASP.NET MVC 上开发，我一直使用三层架构:
ruby - 通过 MacVim (!ruby) 执行时如何运行正确版本的 Ruby
最近我看到 Gary Bernhardt 展示了他用来在 vim 中执行 Ruby 代码的 vim 快捷方式。捷径是 :map ,t :w\|:!ruby %. 似乎这个方法总是执行系统 Rub
ruby - 如果 Ruby 的所有实现都被编译成字节码，Ruby 真的是一种解释型语言吗？
在为 this question about Blue Ruby 选择的答案中，查克说: All of the current Ruby implementations are compiled to
ruby-on-rails - Ruby:如何对 Ruby 数组进行分组？
我有一个 Ruby 数组 > list = Request.find_all_by_artist("Metallica").map(&:song) => ["Nothing else Matters"
ruby-on-rails - Ruby:Ruby 中的舍入 float
我在四舍五入时遇到问题。我有一个 float ，我想将其四舍五入到小数点后的百分之一。但是，我只能使用 .round ，它基本上将它变成一个 int，意思是 2.34.round # => 2. 有没
ruby-on-rails - ruby/ruby on rails 内存泄漏检测
我使用 ruby on rails 编写了一个小型 Web 应用程序，它的主要目的是上传、存储和显示来自 xml(文件最多几 MB)文件的结果。运行大约 2 个月后，我注意到 mongrel 进程
ruby - 转换奇怪的字符 - Ruby
我们如何用 Ruby 转换像这样的字符串: 𝑙𝑎𝑡𝑜𝑟𝑟𝑒 收件人: Latorre 最佳答案 s = "𝑙𝑎𝑡𝑜𝑟𝑟𝑒" => "𝑙𝑎𝑡𝑜𝑟𝑟𝑒" s.u
ruby - Ruby 变量前的感叹号
通过 ruby monk 时，他们偶尔会从左侧字段中抛出一段语法不熟悉的代码: def compute(xyz) return nil unless xyz xyz.map {|a,
ruby - 返回字符串中的最高和最低数字 : Ruby
不确定我做错了什么，但我似乎弄错了。问题是，给你一串空格分隔的数字，你必须返回最大和最小的数字。注意:所有数字都是有效的 Int32，不需要验证它们。输入字符串中始终至少有一个数字。输出字符串必须

首页

博学

6Ren·AI

商城

ruby - 自动网页抓取问题