gpt4 book ai didi

json - Node.js 将大型 Xml 文件的 Xml 转换为 JSON 的示例

转载 作者:行者123 更新时间:2023-12-03 00:36:03 30 4
gpt4 key购买 nike

我对 Node.js 比较陌生。我正在尝试将 83 个 XML 文件(每个文件大小约为 400MB)转换为 JSON。

每个文件都包含这样的数据(除了每个元素都有大量附加语句):

<case-file>
<serial-number>75563140</serial-number>
<registration-number>0000000</registration-number>
<transaction-date>20130101</transaction-date>
<case-file-header>
<filing-date>19981002</filing-date>
<status-code>686</status-code>
<status-date>20130101</status-date>
</case-file-header>
<case-file-statements>
<case-file-statement>
<type-code>D10000</type-code>
<text>"MUSIC"</text>
</case-file-statement>
<case-file-statement>
<type-code>GS0351</type-code>
<text>compact discs</text>
</case-file-statement>
</case-file-statements>
<case-file-event-statements>
<case-file-event-statement>
<code>PUBO</code>
<type>A</type>
<description-text>PUBLISHED FOR OPPOSITION</description-text>
<date>20130101</date>
<number>28</number>
</case-file-event-statement>
<case-file-event-statement>
<code>NPUB</code>
<type>O</type>
<description-text>NOTICE OF PUBLICATION</description-text>
<date>20121212</date>
<number>27</number>
</case-file-event-statement>
</case-file-event-statements>

我尝试了很多不同的 Node 模块,包括 sax、node-xml、node-expat 和 xml2json。显然,我需要从文件中传输数据并通过 XML 解析器进行管道传输,然后将其转换为 JSON。

我也尝试阅读一些博客等,尝试解释(尽管很肤浅)如何解析 Xml。

在 Node 宇宙中,我首先尝试了 sax,但我不知道如何以可以将其转换为 JSON 的格式提取数据。 xml2json 不适用于流。 node-xml 看起来令人鼓舞,但我无法弄清楚它如何以任何有意义的方式解析 block 。 node-expat 指向 libexpat 文档,该文档似乎需要博士学位。 Node elementree 也做了同样的事情,指向 Python 实现,但没有解释已实现的内容或如何使用它。

有人可以给我举一个可以用来入门的例子吗?

最佳答案

虽然这个问题已经很老了,但我正在分享我的问题和解决方案,这可能对所有尝试将 XML 转换为 JSON 的人有所帮助。

这里的实际问题不是转换,而是处理巨大的 XML 文件,而不必立即将它们保存在内存中。

在使用几乎所有广泛使用的软件包时,我遇到了以下问题 -

  • 许多软件包支持覆盖所有场景的 XMLJSON 转换,但它们不能很好地处理大文件。

  • 很少有包(如 xml-flowxml-stream )支持大型 XML 文件转换,但转换过程会错过一些极端情况,在这些情况下,转换要么失败,要么给出不可预测的 JSON 结构 ( explained in this SO question )。

理想的解决方案是结合这两种方法的优点,这正是我所做的并提出的 xtreamer node package .

简单来说,xtreamer 接受重复 Node ,就像 xml-flow/xml-stream 一样,但发出重复的 xml Node 而不是转换后的 JSON 。这提供了以下优点 -

  • 我们可以将 xtreamer 与任何可读流进行管道传输,因为它扩展了转换流
  • 发出的 XML Node 可以传输到任何 XML 到 JSON 解析器以获得所需的 JSON。
  • 我们可以更进一步,将 JSON 解析器与 xtreamer 连接起来,它将调用 JSON 解析器并相应地发出 JSON。
  • xtreamerstream 作为其唯一依赖项,并且作为转换流扩展,它可以灵活地与其他流进行管道传输。

What if XML structure is not fixed?

我设法想出了另一个基于 sax 的 Node 包 xtagger它读取 XML 文件并提供以下格式的文件结构 -

structure: { [name: string]: { [hierarchy: number]: number } };

此包允许找出重复的 Node 名称,然后将其传递给 xtreamer 进行解析。

我希望这有帮助。 :)

关于json - Node.js 将大型 Xml 文件的 Xml 转换为 JSON 的示例,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14845922/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com