javascript - 尝试使用 HtmlUnit 解析 ember 应用程序时出错

Question

所以我有一个 Ember 应用程序，我需要拍摄快照以进行抓取。 Ember 应用程序使用 Google+ API 进行收听。它还在索引页面中嵌入了一个 Youtube 视频。我使用 HtmlUnit v2.15。

我正在使用以下代码来初始化 HtmlUnit:

// use the headless browser to obtain an HTML snapshot
final WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setActiveXNative(true);
webClient.getOptions().setAppletEnabled(true);
webClient.getOptions().setCssEnabled(true);
webClient.getOptions().setUseInsecureSSL(true);
webClient.getOptions().setThrowExceptionOnScriptError(false);
HtmlPage page = webClient.getPage(originalUrl);

// important!  Give the headless browser enough time to execute JavaScript
// The exact time to wait may depend on your application.
webClient.waitForBackgroundJavaScript(5000);

// return the snapshot
logger.info("Writing snapshot for URL: " + originalUrl);
response.getWriter().write(page.asXml());
webClient.closeAllWindows();

1. 现在，所有 3 个 主要浏览器版本(CHROME、INTERNET_EXPLORER_11、FIREFOX_24)都会出现一个问题:

   runtimeError: message=[An invalid or illegal selector was specified (selector: '*,:x' error: Invalid selector: *:x).] sourceName=[http://www.domain.com/assets/vendor.js] line=[1351] lineSource=[null] lineOffset=[0]
   

来自 vendor.js 的代码片段:

// Opera 10-11 does not throw on post-comma invalid pseudos
div.querySelectorAll("*,:x"); // line 1351 is the problem
rbuggyQSA.push(",.*:");

1. 然后，只有 FIREFOX_24 和 INTERNET_EXPLORER_11 出现以下类型的错误:

   Invalid rpc message origin. https://accounts.google.com vs http://www.domain.com
   
   Invalid rpc message origin. https://apis.google.com vs http://www.domain.com
   

2. 这只发生在INTERNET_EXPLORER_11:

   runtimeError: message=[Automation server can't create object for 'ShockwaveFlash.ShockwaveFlash.7'.] sourceName=[https://s.ytimg.com/yts/jsbin/www-embed-player-vflWiCusa/www-embed-player.js] line=[59] lineSource=[null] lineOffset=[0]
   

3. 最后，这只发生在 CHROME 中:

   [com.gargoylesoftware.htmlunit.javascript.host.xml.XMLHttpRequest.open(XMLHttpRequest.java:534)]Unable to initialize XMLHttpRequest using malformed URL 'chrome-extension://boadgeojelhgndaghljhdicfkmllpafd/cast_sender.js'.
   

此外，如果我想在 Web 浏览器(在本例中为 Chrome Linux)中检查 HtmlUnit 处理的结果，结果页面不会呈现，它只是:

This page contains the following errors:

error on line 23 at column 5: Encoding error
Below is a rendering of the page up to the first error.

embed[type*="application/x-shockwave-flash"],embed[src*=".swf"],object[type*="application/x-shockwave-flash"],object[codetype*="application/x-shockwave-flash"],object[src*=".swf"],object[codebase*="swflash.cab"],object[classid*="D27CDB6E-AE6D-11cf-96B8-444553540000"],object[classid*="d27cdb6e-ae6d-11cf-96b8-444553540000"],object[classid*="D27CDB6E-AE6D-11cf-96B8-444553540000"]{    display: none !important;}

更新:

我刚刚将 HtmlUnit 更新为 v2.16。

页面根本不呈现的部分原因是 flash 插件集成(如下所述，它似乎已在 v2.16 中修复)以及索引页面中存在的非 UTF-8 字符。所以部分是我的坏处。因此，页面现在按预期呈现，没有问题。尽管如此，仍然存在一些解析问题，如下所述。

1. 未使用 CHROME 或 FIREFOX_31 修复。在 INTERNET_EXPLORER_11 中修复
2. 不固定。除了 FIREFOX_31 之外，现在也出现在 CHROME 中。在 IE_11 中已修复。
3. 已修复在 IE_11 中。
4. 已在 CHROME 中修复。
5. 新 CHROME、FIREFOX_31 问题:

Rhino runtime detected object com.gargoylesoftware.htmlunit.ScriptException: Exception invoking resolve of class com.gargoylesoftware.htmlunit.ScriptException where it expected String, Number, Boolean or Scriptable instance. Please check your code for missing Context.javaToJS() call.

1. 新 IE_11 问题:

runtimeError: message=[An invalid or illegal selector was specified (selector: ':enabled' error: Syntax Error).] sourceName=[http://www.domain.com/assets/vendor.js] line=[1346] lineSource=[null] lineOffset=[0]

第 1346 行的代码段:

// FF 3.5 - :enabled/:disabled and hidden elements (hidden elements are still enabled)
            // IE8 throws error here and will not see later tests
            if ( !div.querySelectorAll(":enabled").length ) {
                rbuggyQSA.push( ":enabled", ":disabled" );
            }

总而言之，在最新版本的 HtmlUnit v2.16 中，IE_11 只有 1 个错误，而 CHROME 和 FIREFOX_31 有 3 个错误。因此，我将切换到使用 IE_11，并将 HtmlUnit 的日志阈值改为 FATAL的错误，以免被来自该 1 期的错误电子邮件所淹没。更好，我会给你，但仍然不完美。也许明年的更新？ :)

Answer 1

为了解决上述大部分问题，将HtmlUnit更新为v2.16，并将浏览器版本设置为INTERNET_EXPLORER_11。在我的例子中，只剩下 1 个错误。为了从我们的邮件程序日志中消除此错误，我将日志级别阈值设置为 FATAL 而不是 ERROR。为此，请在 log4j.properties 文件中添加以下行。

log4j.logger.com.gargoylesoftware.htmlunit=FATAL

还要确保并仔细检查生成的 XML 中的所有字符是否都是 UTF-8 编码的。