个人中心
文章发布
退出
作者热门文章
- xml - AJAX/Jquery XML 解析
- 具有多重继承的 XML 模式
- .net - 枚举序列化 Json 与 XML
- XML 简单类型、简单内容、复杂类型、复杂内容
25
4
我正在尝试同步一种特殊的生产者/消费者问题。这是问题所在:
我有 2 个队列 link_queue, page_queue。
线程class ProducePages_RequireLinks(称之为class A)，顾名思义，使用link_queue中的项目并放入任意数量的( >=1) 来自每个链接的页面进入 page_queue。
相反，主线程 class ProduceLinks_RequirePages(称之为 class B)使用 page_queue 中的页面并入队任意数量(>= 0) 链接到 link_queue。
现在 class B 生成链接的速度可能比 class A 生成页面的速度快。另一方面，反过来也是可能的。
如何在 Ruby 1.9.2 中正确同步这些线程？
我尝试在两者中都使用监视器，但在某些时候我最终遇到了死锁。
(如果我不准确，请通过评论告诉我，我会发布一些示例类)
编辑:正在发生的事情的图片:
例子
link_queue 初始化为 1 个项目page_queue 初始化为 0 个项目
我们有 4 个 A 类线程 和 1 个 B 类线程。每行将是 1 个时间步。
线程 A.1 抓取 1 个链接(linkQ=0)输出 1 个页面(pageQ=1)
线程B抓取1页(pageQ=0)输出400个链接(linkQ=400)
线程 A.3 抓取 1 个链接 (linkQ=399) 输出 1 个页面 (pageQ=1)
线程 A.2 抓取 1 个链接 (linkQ=398) 输出 1 个页面 (pageQ=2)
线程B抓取1页(pageQ=1)输出100个链接(linkQ=498)
线程 A.1 抓取 1 个链接 (linkQ=497) 输出 1 个页面 (pageQ=2)
线程 A.4 抓取 1 个链接 (linkQ=496) 输出 1 个页面 (pageQ=3)
线程 B 注意到 linkQ 太大并等待直到 linkQ<16
. . .线程 A.* 继续工作。 . .之后 (linkQ=15) 和 (pageQ=484)
现在我们遇到了相反的问题。现在线程 A 必须等到 pageQ 下降到某个阈值以下。否则我们会在某个时候耗尽内存。
干杯
最佳答案
无论您使用的是 Ruby 还是任何其他语言，只要您拥有此处描述的生产者-消费者设计，无论生产者和消费者是线程还是进程，您都必须永远不要假设消费者能够“跟上”生产者的步伐。您必须始终使用有界队列。即使像您在评论中提到的那样使用外部队列在一般情况下也不能解决问题，因为虽然比 RAM 大得多，但外部存储不是无限的。
Ruby 标准库有 SizedQueue，您可以通过 require 'thread' 获得它。 SizedQueue 是一个线程安全的队列，它的大小是有限的。如果生产者线程试图在队列已满时将项目插入队列，则生产者将阻塞，直到消费者从队列中弹出一个项目(为新项目腾出空间)。这将给消费者一个“追赶”的机会。同样，如果消费者线程试图在队列为空时从队列中弹出一个项目，则消费者将阻塞直到有项目可用。
如果总体吞吐量受到生产者的限制，他们往往会获得更多的 CPU 时间(因为消费者会阻塞)。另一方面，如果消费者是瓶颈，他们往往会获得更多的 CPU 时间。这比让生产者消耗系统资源用不断增长的项目填充您的队列要好，而消费者可以使用这些资源来处理积压。
关于ruby - 生产者/消费者的特例，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7265504/
25
4
0
以下是一个非常简单的ruby服务器。 require 'socket' local_socket = Socket.new(:INET, :STREAM) local_addr = Socket.
我正在使用 OS X(使用 bash)，并且是 unix 的新手。我想知道是否可以修改一些文件以便运行 ruby 程序，我不需要“ruby file.rb”，而是可以运行“ruby.rb”。 有理
我在用 Ruby 替换字符串时遇到一些问题。 我的原文:人之所为不如兽之所为。 我想替换为:==What== human does is not like ==what== animal does.
我想在一个循环中从 Ruby 脚本做这样的事情: 写一个文件a.rb(每次迭代都会改变) 执行系统(ruby 'a.rb') a.rb 将带有结果的字符串写入文件“results” a.rb 完成并且
我的问题是尝试创建一个本地服务器，以便我可以理解由我的新团队开发的应用程序。我的问题是我使用的是 Ruby 2.3.3，而 Gemfile 需要 2.3.1。我无法编辑 Gemfile，因为我被告知很
我有一个使用 GLI 框架用 Ruby 编写的命令行实用程序。我想在我的主目录中配置我的命令行实用程序，使用 Ruby 本身作为 DSL 来处理它(类似于 Gemfile 或 Rakefile)。 我
我的 Rails 应用 Controller 中有这段代码: def delete object = model.datamapper_class.first(:sourced_id =>
我正在寻找的解析器应该: 对 Ruby 解析友好， 规则设计优雅， 产生用户友好的解析错误， 用户文档的数量应该比计算器示例多， UPD:允许在编写语法时省略可选的空格。 快速解析不是一个重要的特性。
我刚开始使用 Ruby，听说有一种“Ruby 方式”编码。除了 Ruby on Rails 之外，还有哪些项目适合学习并被认可且设计良好？ 最佳答案 Prawn被明确地创建为不仅是一个该死的好 PDF
我知道之前有人问过类似的问题，但是我该如何构建一个无需在前面输入“ruby”就可以在终端中运行的 Ruby 文件呢？ 这里的最终目标是创建一个命令行工具包类型的东西。现在，为了执行我希望用户能够执行的
例如哈希a是{:name=>'mike',:age=>27,:gender=>'male'}哈希 b 是 {:name=>'mike'} 我想知道是否有更好的方法来判断 b 哈希是否在 a 哈希内，而
我是一名决定学习 Ruby 和 Ruby on Rails 的 ASP.NET MVC 开发人员。我已经有所了解并在 RoR 上创建了一个网站。在 ASP.NET MVC 上开发，我一直使用三层架构:
最近我看到 Gary Bernhardt 展示了他用来在 vim 中执行 Ruby 代码的 vim 快捷方式。捷径是 :map ,t :w\|:!ruby %. 似乎这个方法总是执行系统 Rub
在为 this question about Blue Ruby 选择的答案中，查克说: All of the current Ruby implementations are compiled to
我有一个 Ruby 数组 > list = Request.find_all_by_artist("Metallica").map(&:song) => ["Nothing else Matters"
我在四舍五入时遇到问题。我有一个 float ，我想将其四舍五入到小数点后的百分之一。但是，我只能使用 .round ，它基本上将它变成一个 int，意思是 2.34.round # => 2. 有没
我使用 ruby on rails 编写了一个小型 Web 应用程序，它的主要目的是上传、存储和显示来自 xml(文件最多几 MB)文件的结果。运行大约 2 个月后，我注意到 mongrel 进程
我们如何用 Ruby 转换像这样的字符串: 𝑙𝑎𝑡𝑜𝑟𝑟𝑒 收件人: Latorre 最佳答案 s = "𝑙𝑎𝑡𝑜𝑟𝑟𝑒" => "𝑙𝑎𝑡𝑜𝑟𝑟𝑒" s.u
通过 ruby monk 时，他们偶尔会从左侧字段中抛出一段语法不熟悉的代码: def compute(xyz) return nil unless xyz xyz.map {|a,
不确定我做错了什么，但我似乎弄错了。 问题是，给你一串空格分隔的数字，你必须返回最大和最小的数字。 注意:所有数字都是有效的 Int32，不需要验证它们。输入字符串中始终至少有一个数字。输出字符串必须
我是一名优秀的程序员,十分优秀！