java - 为什么 Selenium Webdriver 找不到某些 css 选择器？

Question

我正在做一些网络抓取，我发现似乎是有史以来最好的工具 http://selectorgadget.com/ 。我遇到的问题是，当我在 Java 中使用 Selenium Web Driver 时，它发现的结果数量与选择器小工具的数量不同。我认为这是正在生成的 CSS 选择器的问题。我不确定问题是出在 Selenium 还是选择器小工具上。

这是我正在使用的 2 个不同的 CSS 选择器，它们都应该产生相同数量的结果。

Title: #page-content a:nth-child(1) span
Price: td~ td+ td > div:nth-child(1)

这是我的控制台输出，请注意 BAD URL:

Category hrefList Initialized
http://www.monoprice.com/Category?c_id=109&cp_id=10910
Titles: 10
Prices: 10
http://www.monoprice.com/Category?c_id=122&cp_id=12212
Titles: 19
Prices: 17
BAD: http://www.monoprice.com/Category?c_id=122&cp_id=12212
http://www.monoprice.com/Category?c_id=117&cp_id=11709
Titles: 4
Prices: 4
http://www.monoprice.com/Category?c_id=109&cp_id=10912
Titles: 2
Prices: 2
http://www.monoprice.com/Category?c_id=117&cp_id=11708
Titles: 9
Prices: 9

我一直在尝试对此进行调试，从我所看到的来看，我目前拥有的 CSS 选择器正在尽我所能，但我仍然有一些页面导致丢失项目。我认为有时会失败的唯一部分是价格抢夺，但我确实需要运行完整的站点测试并发现标题抢夺在任何地方都失败了。我知道有些价格不会列出，因为它们缺货，但选择器小工具在查找这些字段时也没有问题，但网络驱动程序却有。

webdriver 中是否有任何限制导致此问题，是否有更好的工具可用于生成我的 css 选择器以便更好地与 webdriver 配合使用？

编辑:只是想提一下，我之前也使用过 JSoup。我不确定是否有人知道尝试执行此任务的 webdriver 和 JSoup 之间是否有区别。

Answer 1

对于标题，使用下面的 cssSelector

div.row>a[href$="format=2"] >span 

对于价格，请使用下面的 cssSelector

div.text-red

对于 Webdriver，请使用下面的代码

driver.get("http://www.monoprice.com/Category?c_id=122&cp_id=12212");
Thread.sleep(4000);

List<WebElement> elements =  driver.findElements(By.cssSelector("div.row>a[href$='format=2'] >span "));

System.out.println("title size is "+elements.size());

 List<WebElement> elements1 =  driver.findElements(By.cssSelector("div.text-red, div.row>a[href$='notify'] "));

System.out.println("price size is "+elements1.size());

我在自己的机器上运行此代码，它返回正确的结果。