c# - 从网站解析实时源代码

Question

我正在尝试解析来自 Grooveshark 的歌曲，但我不知道如何访问 JavaScript 更新的源代码。当我使用 URL 时，我得到的是原始源，而不是通过 JavaScript 更新的实时源，这意味着我无法访问一些新的 ID 数据。

var node = doc.DocumentNode.SelectSingleNode("//*[@id='now-playing-metadata']/a");
text = node.FirstChild.InnerText.Trim();

我正在使用 HTML Agility 库来解析网站。

Answer 1

如您所知，问题是 Html Agility Pack 仅使用 Http 客户端将 URL 下载为字符串。在您的情况下，您需要在带有 DOM 的 Javascript 引擎中执行下载的内容。我建议使用像 phantom.js 这样的 headless 浏览器客户端，有可用的 C# 驱动程序。

使用 phantom.js 你可以做类似的事情:

driver.Navigate().GoToUrl("http://www.grooveshark.com/");
var node = driver.FindElement(By.Id("now-playing-metadata"));