ruby - Nokogiri vs Goliath……或者，他们能相处融洽吗？

Question

我有一个项目需要解析数十万个 HTML 和 XML 文档。

我认为这将是学习 Ruby fibers 和新的 Goliath 框架的绝佳机会。

但很明显，如果您使用阻塞库，Goliath 就会失败。但问题是，我不知道如何判断什么是“线程安全”(如果这甚至是 Goliath 的正确术语)。

所以我的问题是，Nokogiri 是否会导致 Goliath 或多线程/纤程一般出现任何问题？

如果是这样，有没有比 Nokogiri 更安全的使用方式？

谢谢

Answer 1

Goliath 是一个网络框架，所以我假设您打算通过 HTTP“摄取”这些文档？每个请求都映射到一个 ruby​​ 纤程中，但实际上，服务器在单个 react 器线程中运行。

因此，回答您的问题:据我所知，Nokogiri 是线程安全的，但这在这里并不重要。您需要注意的事情是:在解析文档时，CPU 被固定，Goliath 不会同时接受任何新请求。因此，您必须实现正确的逻辑来处理您的特定情况(例如:您可以对来自套接字的数据 block 进行流解析，或在多个歌利亚服务器之间进行负载平衡，或两者...... :-))