python - 使用python抓取网页的问题

Question

你好，我是 Python 的新手，我的老板让我抓取这些数据，但这不是我的强项，所以我想知道我将如何去做。

我查找的文本中的引号也会每隔几分钟更改一次，因此我也不确定如何找到它。

我目前正在使用 beautiful soup 和 Lxml，但是如果有更好的选择，我很乐意尝试它们

这是被检查的网页元素:

div class = "sometext"
<h3> somemoretext </h3>
<p>
<span class = "title" title="text i want">text i want</span>
<br>
</p>

我试过使用:

from lxml import html
import requests
from bs4 import BeautifulSoup
page = requests.get('the url')
soup = BeautifulSoup(page.text)
r = soup.findAll('//span[@class="title"]/text()')
print r

提前致谢，如有任何帮助，我们将不胜感激!

Answer 1

首先执行此操作以获得您在汤中看到的内容:

soup = BeautifulSoup(page)
print soup

这样您就可以仔细检查您实际处理的是您认为正在处理的内容。

然后这样做:

r = soup.findAll('span', attrs={"class":"title"})
for span in r:
    print span.text

这将获得所有 span带有 class=title 的标签, 然后 text将打印出标签之间的所有文本。

编辑添加

请注意，esecules 的回答将为您提供 在 标签 ( <span class = "title" title="text i want"> ) 中的标题，而我的将从文本 ( <span class = "title" >text i want</span> ) 中获取标题