python - 如何获取包含特定文本的类或 ID 的抓取 DIV

Question

我从网站上抓取了一些 HTML

<div>
 <div id="content1">
 </div>
 <div id="content3">
 </div>
 <div id="content22">
 </div>
</div>

如何迭代 ID 以 content 开头的所有 DIV？

Answer 1

最简单的方法是使用 CSS selector :

soup.select('div[id^=content]')

^= 语法指定 id 属性值应以 content 开头。

您可以使用 regular expression filter 获得相同的结果作为 id 参数传入 element.find_all() :

import re

soup.find_all('div', id=re.compile('^content'))

演示:

>>> from bs4 import BeautifulSoup
>>> sample = '''\
... <div>
...  <div id="content1">
...  </div>
...  <div id="content3">
...  </div>
...  <div id="content22">
...  </div>
... </div>
... '''
>>> soup = BeautifulSoup(sample)
>>> soup.select('div[id^=content]')
[<div id="content1">
</div>, <div id="content3">
</div>, <div id="content22">
</div>]
>>> soup.find_all('div', id=re.compile('^content'))
[<div id="content1">
</div>, <div id="content3">
</div>, <div id="content22">
</div>]