xml - Hadoop 中解析 XML 的工具

Question

我想知道是否有任何工具可以用来在hadoop 环境中解析XML 文件。我知道如果没有可用的工具，使用 map reduce 我们可以解析 XML 文件，而不是在哪种语言 scala、java 或 pig 中解析更好？请帮忙。

Answer 1

hadoop 环境通常会提供 Java。所以我会使用“用于 XML 绑定(bind)的 Java 体系结构”或 JAXB。

相对简单易用，开发策略主要包括:

• 您拥有其他人定义的 XML，您想在 Java 中访问。
• 您有要用 XML 表示的 Java 数据结构。

它有很多功能，但除非您需要，否则不要担心添加所有花里胡哨的东西。它也相当快。

You can find the learning path for it here .

Scala 也是一个很好的选择，但它的学习曲线有点高(如果您已经了解 Java 并且接触过基于 Lambda 的语言，学习曲线就不会那么高)。文档是合理的，但有时它与 Java 的可用文档相去甚远。

对于没有使用 Scala 交付过往记录的团队来说，Scala 将是我的第二选择。这并不难，对于某些问题，Scala 更容易，但如果没有一点 Scala 经验，人们往往会利用非 Scala 方法解决 Scala 中的问题。

Pig 是一种我经验有限的语言，所以我会保留评论。