python - 使用 beautifulSoup 从没有类的标签中抓取

Question

如果我想从 anchor 标记中的 href 属性和字符串“水平零黎明”中抓取链接。

由于 anchor 标记没有自己的类，并且整个源代码中还有更多的 anchor 标记。

我可以使用 beautifulSoup 来抓取我需要的数据做什么？

<div class="prodName">
 <a href="/product.php?sku=123;name=Horizon Zero Dawn">Horizon Zero Dawn</a></div>

Answer 1

anchor 标记没有自己的类并不重要。通过找到父 div，然后找到具有适当 href 属性和文本的 anchor ，我们可以提取所需的两个值:

from bs4 import BeautifulSoup

page = '<div class="prodName"><a href="/product.php?sku=123;name=Horizon Zero Dawn">Horizon Zero Dawn</a></div>'

soup = BeautifulSoup(page)

div = soup.find('div', {'class': 'prodName'})
a = div.find('a', {'href': True}, text='Horizon Zero Dawn')

print a['href']
print a.get_text()

这打印:

/product.php?sku=123;name=Horizon Zero Dawn
Horizon Zero Dawn

编辑:

评论后更新。如果页面中有多个 div 元素，则需要遍历它们并找到每个元素中存在的所有 a 元素，如下所示:

import requests
from bs4 import BeautifulSoup

url ='https://in.webuy.com/product.php?scid=1'
source_code = requests.get(url)
plain_text = source_code.text
soup = BeautifulSoup(plain_text,'html.parser')
for div in soup.findAll('div',{'class':'prodName'}):
    a = div.findAll('a')
    for link in a:
        href = link.get('href')
        print(href)