ruby - 在 Ruby 中连续读取外部进程的 STDOUT

Question

我想通过 ruby​​ 脚本从命令行运行 blender，然后它将逐行处理 blender 给出的输出以更新 GUI 中的进度条。 Blender 是我需要读取其标准输出的外部进程并不重要。

当 blender 进程仍在运行时，我似乎无法捕捉到 blender 通常打印到 shell 的进度消息，我已经尝试了几种方法。我似乎总是在 blender 退出后访问 blender 的标准输出，而不是在它仍在运行时。

这是一个失败尝试的例子。它确实获取并打印了 blender 输出的前 25 行，但仅在 blender 进程退出后:

blender = nil
t = Thread.new do
  blender = open "| blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1"
end
puts "Blender is doing its job now..."
25.times { puts blender.gets}

编辑:

为了让它更清楚一点，调用 blender 的命令在 shell 中返回一个输出流，指示进度(第 1-16 部分已完成等)。似乎任何对“获取”输出的调用都被阻止，直到 blender 退出。问题是如何在 blender 仍在运行时访问此输出，因为 blender 将其输出打印到 shell。

Answer 1

我已经成功地解决了我的这个问题。以下是详细信息和一些解释，以防遇到类似问题的任何人找到此页面。但如果您不关心细节，这里是简短的答案:

按以下方式使用 PTY.spawn(当然使用您自己的命令):

require 'pty'
cmd = "blender -b mball.blend -o //renders/ -F JPEG -x 1 -f 1" 
begin
  PTY.spawn( cmd ) do |stdout, stdin, pid|
    begin
      # Do stuff with the output here. Just printing to show it works
      stdout.each { |line| print line }
    rescue Errno::EIO
      puts "Errno:EIO error, but this probably just means " +
            "that the process has finished giving output"
    end
  end
rescue PTY::ChildExited
  puts "The child process exited!"
end

这是一个很长的答案，其中包含太多细节:

真正的问题似乎是，如果一个进程没有显式刷新它的标准输出，那么写入标准输出的任何内容都会被缓冲而不是实际发送，直到该进程完成，以最小化 IO(这是 显然 许多 C 库的实现细节，使得吞吐量通过不太频繁的 IO 最大化)。如果您可以轻松地修改该过程，使其定期刷新 stdout，那么这就是您的解决方案。就我而言，它是 blender ，所以对于像我这样的完全菜鸟来说修改源代码有点吓人。

但是当你从 shell 运行这些进程时，它们会实时向 shell 显示标准输出，而且标准输出似乎没有被缓冲。我相信它只有在从另一个进程调用时才会被缓冲，但是如果正在处理 shell，stdout 是实时看到的，没有缓冲。

这种行为甚至可以通过 ruby​​ 进程作为其输出必须实时收集的子进程来观察。只需使用以下行创建一个脚本 random.rb:

5.times { |i| sleep( 3*rand ); puts "#{i}" }

然后一个 ruby​​ 脚本调用它并返回它的输出:

IO.popen( "ruby random.rb") do |random|
  random.each { |line| puts line }
end

您会发现并没有像您预期的那样实时获得结果，而是事后立即获得结果。 STDOUT 正在被缓冲，即使您自己运行 random.rb，它也不会被缓冲。这可以通过在 random.rb 的 block 内添加 STDOUT.flush 语句来解决。但是如果你不能改变来源，你必须解决这个问题。您不能从进程外部刷新它。

如果子进程可以实时打印到 shell，那么也必须有一种方法可以用 Ruby 实时捕获它。还有。你必须使用 PTY 模块，我相信它包含在 ruby​​ 核心中(无论如何是 1.8.6)。可悲的是它没有记录在案。但幸运的是，我找到了一些使用示例。

首先解释一下PTY是什么，代表pseudo terminal .基本上，它允许 ruby​​ 脚本将自己呈现给子进程，就好像它是一个刚刚将命令键入 shell 的真实用户一样。因此，只有当用户通过 shell 启动进程时才会发生任何改变的行为(例如，在这种情况下，STDOUT 没有被缓冲)。隐藏另一个进程已启动此进程的事实允许您实时收集 STDOUT，因为它没有被缓冲。

要将 random.rb 脚本用作子脚本，请尝试以下代码:

require 'pty'
begin
  PTY.spawn( "ruby random.rb" ) do |stdout, stdin, pid|
    begin
      stdout.each { |line| print line }
    rescue Errno::EIO
    end
  end
rescue PTY::ChildExited
  puts "The child process exited!"
end