ruby - Rack 并发 - rack.multithread、async.callback 或两者兼而有之？

Question

我试图完全理解 Rack 中并发请求处理的选项。我已经使用 async_sinatra 构建了一个长轮询应用程序，现在正在使用 throw :async 和/或 Thin 的 --threaded 标志试验裸机 Rack。我对这个主题很满意，但有些事情我就是无法理解。 (不，我没有将并发误认为是并行，是的，我确实理解 GIL 强加的限制)。

Q1。我的测试表明 thin --threaded(即 rack.multithread=true)在单独的线程中同时运行请求(我假设使用 EM)，这意味着长时间运行的请求 A 将不阻止请求 B(IO 放在一边)。这意味着我的应用程序不需要任何特殊编码(例如回调)来实现并发(再次忽略阻塞数据库调用、IO 等)。 这就是我相信我观察到的 - 它是正确的吗？

Q2。还有另一种更常被讨论的实现并发的方法，涉及 EventMachine.defer 和 throw :async。严格来说，请求不是使用线程处理的。它们按顺序处理，但将繁重的工作和回调传递给 EventMachine，后者使用 async.callback 稍后发送响应。在请求 A 将其工作卸载到 EM.defer 后，请求 B 开始。 这是正确的吗？

Q3。假设以上内容或多或少是正确的，一种方法比另一种方法有什么特别的优势吗？显然 --threaded 看起来像一颗 Elixir 。有什么缺点吗？如果不是，为什么每个人都在谈论 async_sinatra/throw :async/async.callback ？也许前者是“我想让我的 Rails 应用程序在重负载下更敏捷一些”，而后者更适合具有许多长时间运行请求的应用程序？或者规模是一个因素？这里只是猜测。

我在 MRI Ruby 1.9.2 上运行 Thin 1.2.11。 (仅供引用，我必须使用 --no-epoll 标志，因为有 a long-standing, supposedly-resolved-but-not-really problem 和 EventMachine 使用 epoll 和 Ruby 1.9.2。这不是重点，但欢迎任何见解。)

Answer 1

注意:我使用 Thin 作为所有实现异步 Rack 扩展的 Web 服务器的同义词(即 Rainbows!、Ebb、Puma 的 future 版本，...)

Q1. 正确。它将响应生成(又名 call)包装在 EventMachine.defer { ... } 中，这将导致 EventMachine 将其推送到其内置线程池。

Q2. 将async.callback 与EM.defer 结合使用实际上意义不大，因为它基本上会使用线程-pool 也以与 Q1 中描述的类似构造结束。当只为 IO 使用 eventmachine 库时，使用 async.callback 是有意义的。一旦以正常的 Rack 响应作为参数调用 env['async.callback']，Thin 将向客户端发送响应。

如果正文是 EM::Deferrable，Thin 将不会关闭连接，直到 deferrable 成功。一个相当保守的 secret :如果你想要的不仅仅是长轮询(即在发送部分响应后保持连接打开)，你还可以直接返回一个 EM::Deferrable 作为主体对象，而不必使用 throw :async 或 -1 的状态代码。

Q3. 您猜对了。线程服务可能会改善 Rack 应用程序在其他方面没有变化的负载。我看到在我的机器上使用 Ruby 1.9.3 的简单 Sinatra 应用程序有 20% 的改进，在 Rubinius 或 JRuby 上运行时甚至更多，所有内核都可以利用。如果您以事件方式编写应用程序，则第二种方法很有用。

您可以在 Rack 上施展许多魔法和技巧，让非事件应用程序利用这些机制(参见 em-synchrony 或 sinatra-synchrony)，但这会让您陷入调试和依赖 hell 。

异步方法对于倾向于使用事件方法最好地解决的应用程序非常有意义，例如 a web chat .但是，我不建议使用线程方式来实现长轮询，因为每个轮询连接都会阻塞一个线程。这会给您留下大量您无法处理的线程或连接。 EM 的线程池默认大小为 20 个线程，每个进程限制为 20 个等待连接。

您可以使用为每个传入连接创建新线程的服务器，但创建线程的成本很高(MacRuby 除外，但我不会在任何生产应用程序中使用 MacRuby)。例如 serv和 net-http-server .理想情况下，您想要的是请求和线程的 n:m 映射。但是那里没有服务器提供。

如果您想了解有关该主题的更多信息:我在 Rocky Mountain Ruby(以及大量其他 session )上就此进行了介绍。可以找到录像on confreaks .