python - 使用 Selenium 抓取 eBay 网页

Question

您好，我对编码非常陌生，我正在开发一个使用 selenium 从 eBay 抓取数据的项目。

我遇到了 2 个问题。

1. 列表名称的 XPath 是//*[@id="srp-river-results-listing1"]/div/div[2]/a/h3我如何告诉 python 我想要每个列表，即 listing >=1？

2. 列表价格的 xpath//*[@id="srp-river-results-listing1"]/div/div[2]/div[3]/div[1]/span是我直接复制的，但是当我将其输入到python中时，它说存在无效语法并指向div[2]，列表条件也出现同样的情况。然而，对于名称、运费和原产国来说，它是可行的。我怎样才能避免修复这些问题？

非常感谢，我不被允许使用 eBay API

Answer 1

1) 要按部分名称搜索，您可以使用 contains()

'//*[contains(@id, "srp-river-results-listing")]/div/div[2]/a/h3'

它对于类很有用，因为 xpath在Selenium将所有类视为一个字符串和 xpath @class="s-item__title"找不到<div class="s-item__title promotion">

'//h3[contains(@class, "s-item__title")]`

您还可以使用它通过页面上显示的文本进行搜索

'//h3[contains(@text, "Raspberry")]`

<小时/>

2).我不知道问题是什么 - 您没有显示完整的错误消息。

<小时/>

顺便说一句:您可以使用较短的 xpath 找到相同的项目，而不是使用长 xpath

'//h3[contains(@class, "s-item__title")]'

和

'//span[@class="s-item__price"]'

最终你可以尝试使用//跳过路径中的某些元素

'//li[contains(@id, "srp-river-results-listing")]//span'

而且它可能不需要 div[2]

<小时/>

有时，最好找到主标签，然后使用相对 xpath 和 . 仅在该标签内进行搜索。 。

对有关一项的信息进行分组可能很有用。有时项目可能没有某些值，然后使用 zip(all_titles, all_prices)对信息进行分组可能会给出错误的结果。

data = []

all_items = driver.find_elements_by_xpath('//li[@class="s-item   "]')

for item in all_items:
    # relative xpathes 

    title = item.find_element_by_xpath('.//h3[contains(@class, "s-item__title")]').text.strip()
    price = item.find_element_by_xpath('.//span[@class="s-item__price"]').text.strip()

    data.append( [title, price] )

<小时/>

示例代码

import selenium.webdriver

driver = selenium.webdriver.Firefox()
driver.get('https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2499334.m570.l1311.R1.TR12.TRC2.A0.H0.Xras.TRS0&_nkw=raspberry+pi+4&_sacat=0')

# --- separated elements ---

all_titles = []

all_items = driver.find_elements_by_xpath('//h3[@class="s-item__title"]')

for item in all_items:
    title = item.text.strip()
    print('title:', title)
    all_titles.append( title )

all_prices = []

all_items = driver.find_elements_by_xpath('//span[@class="s-item__price"]')

for item in all_items:
    price = item.text.strip()
    print('price:', price)
    all_prices.append( price )

data = list(zip(all_titles, all_prices))

all_others = []

all_items = driver.find_elements_by_xpath('//non_existing_xpath')

for item in all_items:
    other = item.text.strip()
    print('other:', other)
    all_others.append( other )

# all_others will be empty


# --- grouped ---

data = []

all_items = driver.find_elements_by_xpath('//li[@class="s-item   "]')

for item in all_items:
    title = item.find_element_by_xpath('.//h3[contains(@class, "s-item__title")]').text.strip()
    price = item.find_element_by_xpath('.//span[@class="s-item__price"]').text.strip()
    try:
        other = item.find_element_by_xpath('.//non_existing_xpath').text.strip()
    except Exception as ex:
        print('Exception:', ex)
        other = "" # default value when element doesn't exists.

    print('title:', title)
    print('other:', price)
    print('other:', other)
    print('---')
    data.append( [title, price, other])

# --- other examples ---

all_items = driver.find_elements_by_xpath('//li[contains(@id, "srp-river-results-listing")]//span[@class="s-item__price"]')
for item in all_items:
    print(item.text)

all_items = driver.find_elements_by_xpath('//li[contains(@id, "listing")]//span[@class="s-item__price"]')
for item in all_items:
    print(item.text)

all_items = driver.find_elements_by_xpath('//*[contains(@id, "srp-river-results-listing")]/div/div[2]/a/h3')
for item in all_items:
    print(item.text)