java - 为什么 selenium getAttribute ("href")不起作用？

Question

摘要:我的代码转到 craigslist 广告网址。它提取广告正文中隐藏的电话号码。除了我在代码中包含的网址之外，该代码对于许多网址都可以正常工作。 (顺便说一句，您可以复制并运行我的代码，而无需编写任何其他代码。)

问题:getAttribute("href") 仅针对此网址返回 null。为什么 ？我该如何解决这个问题？

代码:

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;

import java.util.ArrayList;
import java.util.List;

public class Temp {
    private static final WebDriver browser = new ChromeDriver();
    private static WebDriver temp_browser = new ChromeDriver();

    /*The code fails only for this url.*/
    private static String url = "https://sfbay.craigslist.org/pen/apa/5764613878.html";

    public static String phone_btns_xpath = "//section[@id='postingbody']//*[contains(.,'show contact info')]";
    public static By phone_btns_loc = By.xpath(phone_btns_xpath);

    public static void main(String[] args) {
        browser.get(url);
        List<String> phones = reveal_hidden_phone_numbers(temp_browser);
        temp_browser.close();
        System.out.println(phones);
    }

    public static List<String> reveal_hidden_phone_numbers(WebDriver temp_browser) {
        List<WebElement> phone_btns = browser.findElements(phone_btns_loc);
        List<String> phones = null;
        String text = null;

        if (phone_btns.size() > 0) {
            WebElement phone_btn_0 = phone_btns.get(0);
            System.out.println(phone_btn_0.getAttribute("innerHTML"));

            String url = phone_btn_0.getAttribute("href");
            temp_browser.get(url);
            text = temp_browser.findElement(By.tagName("body")).getText();

            for (WebElement phone_btn : phone_btns) {
                phone_btn.click();
            }

            phones = extract_phone_numbers(text);
        }
        return phones;
    }

    public static List<String> extract_phone_numbers(String text) {
        List<String> output = new ArrayList<String>();
        output.add("PHONE ;)");
        return output;
    }

}

堆栈跟踪:

 <a href="/fb/sfo/apa/5764613878" class="showcontact" title="click to show contact info" rel="nofollow">show contact info</a>

Exception in thread "main" java.lang.NullPointerException: null value in entry: url=null
    at com.google.common.collect.CollectPreconditions.checkEntryNotNull(CollectPreconditions.java:33)
    at com.google.common.collect.SingletonImmutableBiMap.<init>(SingletonImmutableBiMap.java:39)
    at com.google.common.collect.ImmutableBiMap.of(ImmutableBiMap.java:49)
    at com.google.common.collect.ImmutableMap.of(ImmutableMap.java:70)
    at org.openqa.selenium.remote.RemoteWebDriver.get(RemoteWebDriver.java:316)
    at com.craigslist.Temp.reveal_hidden_phone_numbers(Temp.java:38)
    at com.craigslist.Temp.main(Temp.java:23)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:483)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)

Answer 1

正如我在您提供的堆栈跟踪中看到的这一行 System.out.println(phone_btn_0.getAttribute("innerHTML"));从您的代码中打印了内部 HTML phone_btn_0元素为:-

<a href="/fb/sfo/apa/5764613878" class="showcontact" title="click to show contact info" rel="nofollow">show contact info</a>

这意味着您正在尝试获取 href错误元素上的属性。它位于父元素而不是实际的链接元素上，其中 href属性不存在，这就是为什么你得到 null .

假设你想得到href此打印链接元素的属性值 HTML ，所以你应该尝试获取 href phone_btn_0 的子元素上的属性值如下:-

WebElement phone_btn_0 = phone_btns.get(0);
System.out.println(phone_btn_0.getAttribute("innerHTML"));

String url = phone_btn_0.findElement(By.tagName("a")).getAttribute("href");

已编辑:- 您也可以最初在 xpath 中修复它。仅定位a元素而不是全部 *使用相同的代码以及:-

public static String phone_btns_xpath = "//section[@id='postingbody']//a[contains(.,'show contact info')]";