python - 从 craigslist 搜索中抓取每张图片

Question

我正在尝试从 craigslist 搜索中提取每个图像 url，但似乎无法深入到 url 本身。当我尝试 soup.find_all("a", { "class":"result-image gallery"} )[0].img 时，它没有返回任何内容。

具体来说，我要抓取的页面是 https://raleigh.craigslist.org/search/rea?query=duplex&sort=date&availabilityMode=0&sale_date=all+dates .

我正在尝试从以下 src 获取图像:https://images.craigslist.org/00j0j_cC4PhAMdHLj_300x300.jpg

super 令人沮丧的是，我昨天能够成功地做到这一点，但当时并没有将该工作代码提交到 Github。从那以后我不小心删除了它并且无法弄清楚我最初做了什么来完成这项工作:(

Answer 1

您应该尝试自动化 selenium 库。它允许您抓取动态呈现请求(js或ajax)页面数据。

from selenium import webdriver
from bs4 import BeautifulSoup
import time
from bs4.element import Tag

driver = webdriver.Chrome('/usr/bin/chromedriver')
driver.get('https://raleigh.craigslist.org/search/rea?query=duplex&sort=date&availabilityMode=0&sale_date=all+dates')
time.sleep(3)

soup = BeautifulSoup(driver.page_source,'lxml')
rowArray = soup.find_all("li", { "class":"result-row"})

for row in rowArray:
    img = row.find("img")
    if img is None:
        continue
    if isinstance(img,Tag) and img.has_attr("src"):
        print(img['src'])
        print("----------------") 

O/P:

https://images.craigslist.org/00U0U_azwRntzeNXr_300x300.jpg
----------------
https://images.craigslist.org/00101_h0xsGArMWPh_300x300.jpg
----------------
https://images.craigslist.org/00J0J_2EzptPF9ysn_300x300.jpg
----------------
https://images.craigslist.org/00101_2FiqAHsu509_300x300.jpg
----------------
https://images.craigslist.org/00D0D_jQbpUTsk6o3_300x300.jpg

其中 '/usr/bin/chromedriver' selenium 网络驱动程序路径。

为 chrome 浏览器下载 selenium web 驱动程序:

http://chromedriver.chromium.org/downloads

为 chrome 浏览器安装网络驱动程序:

https://christopher.su/2015/selenium-chromedriver-ubuntu/

Selenium 教程:

https://selenium-python.readthedocs.io/