python - 从 BeautifulSoup 中抓取 Instagram

Question

我想获取此页面中帖子的 URL 列表，并从每个 URL 中获取所需的数据...

import requests
from bs4 import BeautifulSoup    
import selenium.webdriver as webdriver    
url = 'https://www.instagram.com/louisvuitton/'
driver = webdriver.Firefox()
driver.get(url)    
soup = BeautifulSoup(driver.page_source, 'lxml')
data1 = soup.find_all('div', {'class': '_cmdpi'})
list1 =[]
for links in data1:
    list1.append(links.a['href'])
print list1

但是为什么这只获取第一个链接而不是列表？

Answer 1

这是因为有多个链接，但只有一个 div 带有 class="+cmdpi"...所以 data1 是列表仅由一个元素组成。尝试下面的代码来获取所需的引用，而不使用 bs4:

url = 'https://www.instagram.com/louisvuitton/'
driver = webdriver.Firefox()
driver.get(url) 
links = [a.get_attribute('href') for a in driver.find_elements_by_css_selector('div._cmdpi a')]
print links