ruby - 在 Ruby 中解析巨大的 XML 不会处理服务器中的完整文件

Question

我需要使用 Nokogiri 和 Httparty 解析一个 3MB 的 XML 文件，以解析 XML 中链接的内容。

当我在我的 Windows 7 PC 上执行此操作时效果很好，但是当我在 VPS 中运行相同的脚本时，它似乎并没有完全处理它。

是因为服务器上 Ruby 脚本的最大执行时间有限制吗？如果是这样，我怎样才能在 Ubuntu 中增加它？

Answer 1

没有人会告诉你为什么它会在没有日志的情况下发生。你浏览过它们吗？

就 VPS 和 xml 而言 - 您可能会超过服务器上的最大可用内存(如果您有多个客户端，它们都会加载 xml，很快就会发生这种情况)。我不确定您如何使用 Nokogiri，但我的建议是检查您是否使用 SAX 解析器 (http://www.rubydoc.info/github/sparklemotion/nokogiri/Nokogiri/XML/SAX/Parser)

最终您将使用更少的资源(内存、执行时间)，但有一个缺点 - SAX 解析器更难编写，特别是当 xml 结构复杂时，但它可能是麦汁(寻找基准“Nokogiri DOM vs SAX”)