javascript - 如何使用 X 射线抓取格式错误的 HTML 代码

Question

我是第一次使用 X 射线模块。

我使用它没有问题，但是当我尝试以格式错误的 HTML 代码抓取数据时遇到了一些问题。

例如，如果我尝试从网站上抓取此 HTML 代码:

<div class="item">
<dl class="list">
    <dd id="1"> Data1
    <dd id="2"> Data2
    <dd id="3"> Data3
</dl>

使用此代码:

x(html, '.item', [{
    tags: x('.item', 'dd:nth-child(1)')
}])
(function(err, obj) {
    var jsonCleaned = JSON.parse(JSON.stringify(obj).replace(/"\s+|\s+"/g,'"').replace(/\\n/g, ''))
    res.json(jsonCleaned);
})

我得到以下结果:

[
      {
                "tags": "Data1 Data2 Data3"
      }

]

如果关闭 DD 标签，我的抓取代码就可以工作。

[
      {
                "tags": "Data1"
      }
]

关于如何解决这个问题的任何解决方案？

Answer 1

如果以后有人遇到同样的问题，这是我自己的解决方案。

我只使用 htmltidy 模块。

tidy(html, function (err, html) {
    x(html, '.item', [{
        tags: x('.item', 'dd:nth-child(1)')
    }])
    (function(err, obj) {
        var jsonCleaned = JSON.parse(JSON.stringify(obj).replace(/"\s+|\s+"/g,'"').replace(/\\n/g, ''));
        res.json(jsonCleaned);
    })
});

在那之后，格式错误的 HTML 代码不再是问题。