gpt4 book ai didi

python - Beautiful Soup 解析 url 以获取另一个 urls 数据

转载 作者:IT老高 更新时间:2023-10-28 22:19:53 26 4
gpt4 key购买 nike

我需要解析一个 url 以获取链接到详细信息页面的 url 列表。然后从该页面我需要从该页面获取所有详细信息。我需要这样做,因为详细页面 url 不会定期递增和更改,但事件列表页面保持不变。

基本上:

example.com/events/
<a href="http://example.com/events/1">Event 1</a>
<a href="http://example.com/events/2">Event 2</a>

example.com/events/1
...some detail stuff I need

example.com/events/2
...some detail stuff I need

最佳答案

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('http://yahoo.com').read()
soup = BeautifulSoup(page)
soup.prettify()
for anchor in soup.findAll('a', href=True):
print anchor['href']

它将为您提供网址列表。现在您可以遍历这些 url 并解析数据。

  • inner_div = soup.findAll("div", {"id": "y-shade"})这是一个例子。您可以阅读 BeautifulSoup 教程。

关于python - Beautiful Soup 解析 url 以获取另一个 urls 数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4462061/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com