php - 如何抓取包含无效 HTML 的网站

Question

这个问题已经有答案了:

How do you parse and process HTML/XML in PHP? (31 个回答)

已关闭 5 年前。

我正在尝试从包含无效 HTML 的网站中抓取数据。 Simple HTML DOM Parser解析它，但由于它处理无效 HTML 的方式而丢失了一些信息。带有 DOMXPath 的内置 DOM 解析器不起作用，它返回空白结果集。通过 PHP Tidy 运行获取的 HTML 后，我能够让它(DOMDocument 和 DOMXPath)在本地工作，但 PHP Tidy 没有安装在服务器上，它是一个共享托管服务器，所以我无法控制它。我试过HTMLPurifier但这似乎只是为了保护用户输入，因为它完全删除了 doctype、head 和 body 标签。

有 PHP Tidy 的独立替代品吗？我真的更喜欢使用 DOMXPath 来导航并获取我需要的内容，它似乎只是需要一些帮助来清理 HTML，然后才能解析它。

编辑:我正在抓取这个网站:http://courseschedules.njit.edu/index.aspx?semester=2010f 。现在我只是想获取所有类(class)链接。

Answer 1

如果您使用 loadHTML 或 loadHTMLFile，DOM 可以很好地处理损坏的 HTML:

$dom = new DOMDocument;
libxml_use_internal_errors(TRUE);
$dom->loadHTMLFile('http://courseschedules.njit.edu/index.aspx?semester=2010f');
libxml_clear_errors();

$xPath = new DOMXPath($dom);
$links = $xPath->query('//div[@class="courseList_section"]//a');
foreach($links as $link) {
    printf("%s (%s)\n", $link->nodeValue, $link->getAttribute('href'));
}

将输出

ACCT - Accounting (index.aspx?semester=2010f&subjectID=ACCT)
AD   - Art and Design (index.aspx?semester=2010f&subjectID=AD  )
ARCH - Architecture (index.aspx?semester=2010f&subjectID=ARCH)
... many more ...
TRAN - Transportation Engr (index.aspx?semester=2010f&subjectID=TRAN)
TUTR - Tutoring (index.aspx?semester=2010f&subjectID=TUTR)
URB  - Urban Systems (index.aspx?semester=2010f&subjectID=URB )

使用

echo $dom->saveXML($link), PHP_EOL;

在 foreach 循环中将输出链接的完整 outerHTML。