java - 如何修复: HtmlUnit GetElementById Returns Null-6ren

java - 如何修复: HtmlUnit GetElementById Returns Null

转载作者：行者123 更新时间：2023-12-02 01:43:47

25

4

我正在编写一个网络抓取工具，并尝试在搜索框中输入搜索词。但是，当我尝试通过 ID 访问搜索框时，我似乎得到了 null。我刚刚学习 HtmlUnit，所以我可能会错过一些非常明显的东西，但我自己还无法识别这一点。

这是网站的代码:

<html xmlns="http://www.w3.org/1999/xhtml" xml:1ang="en" class="no-touch">
    <head>-</head>
    <body lang="en" class="garageBrand" emailcookiename="grgemailca" loyaltycookiename="grgloyaltyca">
        <div id="fb-root" class="fb_reset">-</div>
        <noscript>...</noscript>
        <script>...</script>
        <div id="container">
            <div id="avsDialog" sty1e="disp1ay: none; position: absolute; top: 0; right: 0;"></div>
            <input type="hidden" value="en" id="displayLanguage">
            <input type="hidden" value="garageSiteCA" id="currSiteId">
            <input type="hidden" value="en_CA" id="currLocale">
            <div id="contentarea">
                <div id="header" class="nonHeaderScroll">
                <div id="topnav">...</div>
                <div class="socialSearch">
                <div id="searchMenu">
                    <form action="//www.garageclothing.com/ca/search/search.jsp" method="GET">
                        <input type="hidden" name="N" value="0">
                        <input type="hidden" name="Dy" value="1">
                        <input type="hidden" name="Nty" value="1">
                        <input type="hidden" name="Ntk" value="All">
                        <input type="hidden" name="Ntx" value="mode matchall">
                        <input id="searchText" maxlength="40" type="text" name="Ntt" class="textInput" placeholder="Search..." autocomplete="off">
                        <input class="mainSearchButton" type="image" src="//images.gdicdn.com/img/magnifying-glass.png?version=375" name="search">
                    </form>
                </div>

这是我的代码:

import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;
import com.gargoylesoftware.htmlunit.html.HtmlInput;

import java.io.IOException;


public class Main {

public static void main(String[] args) {

    WebClient client = new WebClient();
    client.getOptions().setJavaScriptEnabled(true);
    client.getOptions().setCssEnabled(false);
    client.getOptions().setUseInsecureSSL(true);

    try {
        HtmlPage page = client.getPage("https://www.garageclothing.com/ca");

        // Check for popup.
        if(page.getElementById("cboxClose") != null) {
            page = page.getElementById("cboxClose").click();
        }

        // Debugging line that returns null:
        System.out.println(page.getElementById("searchText"));
        // What I would like to do:
      /*HtmlInput searchInput = (HtmlInput) page.getElementById("searchText");
        searchInput.setValueAttribute("red scarf");
        HtmlSubmitInput submitBtn = page.getElementByName("search");
        page = submitBtn.click();

        System.out.println(page.asXml());*/

    } catch (IOException e) {
        e.printStackTrace();
    }
}

}

最佳答案

即使页面看起来很简单，这个页面(像许多购物门户一样)确实很复杂，并且基于大量的 javascript(不仅对于页面本身，而且对于所有这些讨厌的跟踪器来观察用户)。如果您想了解有关此页面的更多信息，我建议使用像 Charles 这样的网络代理来捕获整个流量。

现在回到你的问题...由于 HtmlUnit javascript 支持(基于 Rhino)并不完美，因此您会遇到一些 javascript 错误。为了不因js错误而停止，你必须配置客户端

webClient.getOptions().setThrowExceptionOnScriptError(false);

下一步是获取页面。这也不是那么简单，因为所有的 js 东西。看起来js的东西也替换了最初通过获取url返回的页面。因此，您必须执行三个步骤

获取页面
等待一段时间让js做一些工作
从当前窗口获取当前页面

现在您可以找到搜索字段了；在其中输入一些搜索，最后按搜索按钮。然后你必须再次执行这三个步骤才能获取当前内容。

希望有帮助......

public static void main(String[] args) throws IOException {
    String url = "https://www.garageclothing.com/ca";

    try (final WebClient webClient = new WebClient()) {
        // do not stop at js errors
        webClient.getOptions().setThrowExceptionOnScriptError(false);

        webClient.getPage(url);
        webClient.waitForBackgroundJavaScript(10000);

        HtmlPage page = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();
        HtmlInput searchInput = (HtmlInput) page.getElementById("searchText");
        searchInput.type("red scarf");

        HtmlElement submitBtn = (HtmlElement) page.getElementByName("search");
        submitBtn.click();
        webClient.waitForBackgroundJavaScript(10000);

        page = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();
        // System.out.println("------------------------------------------------");
        // System.out.println(page.asXml());

        System.out.println("------------------------------------------------");
        final DomNodeList<DomNode> divs = page.querySelectorAll(".divProdPriceSale");
        for (DomNode div : divs) {
            System.out.println(div.asText());
        }
    }
}

关于java - 如何修复: HtmlUnit GetElementById Returns Null，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/54029644/

25

4

0

文章推荐： java - SaxonParserTest 缺少 SaxonXQDataSource？

sql - SELECT * FROM Employees WHERE NULL IS NULL; SELECT * FROM 员工 WHERE NULL = NULL;
最近开始学习oracle和sql。在学习的过程中，我遇到了几个问题，我的 friend 在接受采访时被问到这些问题。 SELECT * FROM Employees WHERE NULL IS N
c - 三问 : Is NULL - NULL defined? (uintptr_t)NULL - (uintptr_t)NULL 定义了吗？
这个问题在这里已经有了答案: Can we subtract NULL pointers? (4 个回答) 关闭 2 个月前。是否定义了NULL - NULL？ (char *)NULL - (ch
c# - 检查 null，== null 与 != null
是否有推荐的方法(根据 .net Framework 指南)检查 null，例如: if (value == null) {//code1} else {//code2} 或 if (value !=
php - Symfony2 插入错误参数[null,null,null]
我正在尝试将值插入数据库，但出现这样的错误任何人都可以告诉我为什么该值为空，如下所示: An exception occurred while executing 'INSERT INTO perso
sql - 为什么 null||null 返回空值但 concat(null,null) 在 postgres 中返回空字符串？
这个问题在这里已经有了答案: String concatenation with a null seems to nullify the entire string - is that desire
android - context.getContentResolver().query(ContactsContract.Data.CONTENT_URI, null, null,null, null);
您好，我正在 Android 联系人搜索模块中工作。我正在查询下方运行。 cur = context.getContentResolver().query(ContactsContract.Data.
mysql - MYSQL 列创建中的 NULL 与 DEFAULT NULL 与 NULL DEFAULT NULL？
下面的 SQL 表定义说明了从我的 MYSQL 数据库创建表的语句之一，该数据库是由我公司的前开发人员开发的。 DROP TABLE IF EXISTS `classifieds`.`category
sql-server - 为什么 SQL 语言使用 IS NULL 或 IS NOT NULL 而不是 = NULL 或 <> NULL？
我主要有应用程序开发背景。在编程语言中 variable == null或 variable != null有效。当涉及到 SQL 时，以下查询不会给出任何语法错误，但也不会返回正确的结果。 sel
null - NULL 检查中的段错误？
我在尝试检查某些元素是否为 NULL 时遇到段错误或不。任何人都可以帮忙吗？ void addEdge(int i, int j) { if (i >= 0 && j > 0)
sql - 强制 COALESE(NULL,NULL) 返回 NULL
在 SQL 服务器中考虑到以下事实:Col1 和 Col2 包含数值和 NULL 值 SELECT COALESCE(Col1,Col2) 返回一个错误:“COALESCE 的至少一个参数必须是一个不
sql - 强制 COALESE(NULL,NULL) 返回 NULL
在 SQL 服务器中考虑到以下事实:Col1 和 Col2 包含数值和 NULL 值 SELECT COALESCE(Col1,Col2) 返回一个错误:“COALESCE 的至少一个参数必须是一个不
null - "is null"的关系代数表达式
下面查询的关系代数表达式是什么？我找不到“Is Null”的表达式。 SELECT reader.name FROM reader LEFT JOIN book_borrow ON reader.ca
c# - 使用三元运算符检查 null - null 引用是否与 null 不同
我正在尝试使用三元运算符来检查值是否为 null 并返回一个表达式或另一个。将此合并到 LINQ 表达式时，我遇到的是 LINQ 表达式的 Transact-SQL 转换试图执行“column = n
c++ - select(NULL, NULL, NULL, &timeout) 只是等待给定的时间吗？
我在给定的代码中看到了以下行: select(0, (fd_set *) NULL, (fd_set *) NULL, (fd_set *) NULL, &timeout); http://linux
javascript -/null/g.test ('null null' 的意外正则表达式行为)
var re = /null/g; re.test('null null'); //> true re.test('null null'); //> true re.test('null null')
null - null 有害吗？
这个问题在这里已经有了答案: 关闭 13 年前。我今天避开了一场关于数据库中空值的激烈辩论。我的观点是 null 是未指定值的极好指示符。团队中有意见的其他每个人都认为零和空字符串是可行的方法。
java - 错误:null value in entry: streamOutputFolder=null OR Error:null value in entry: streamOutputFolder=null
由于此错误，我无法在模拟器中运行我的应用: Error:null value in entry: streamOutputFolder=null 或 gradle - Error:null value
java - 无法解析 'query(java.lang.String,java.lang.String[],null, null, null, null)'
我正在尝试在 Android 应用程序中创建电影数据库，但它返回错误。知道这意味着什么吗？ public Cursor returnData() { return db.query(TABLE
javascript - 为什么 new Date(null, null, null) 在浏览器中返回有效日期？
我一直在检查浏览器中的日期函数以及运行时间 new Date (null, null, null); 在开发工具控制台中，它给出了有效的日期 Chrome v 61 回归 Sun Dec 31 189
r - 为什么 NA==NULL ， NULL==NULL 打印逻辑(0)？
为什么 NA==NULL 会导致 logical (0) 而不是 FALSE？为什么 NULL==NULL 会导致 logical(0) 而不是 TRUE？最佳答案 NULL 是一个“零长度”对象

首页

博学

6Ren·AI

商城

java - 如何修复: HtmlUnit GetElementById Returns Null