gpt4 book ai didi

Python 使用 BeautifulSoup 将 url 写入文件

转载 作者:行者123 更新时间:2023-12-01 05:21:48 26 4
gpt4 key购买 nike

我正在尝试将抓取的网址保存到文本文件中,但我在文件中找到的结果与打印的结果不同。我只找到文件中的最后一组。

urls = ["http://google.com/page=","http://yahoo.com"]
for url in urls:

for number in range(1,10):
conn = urllib2.urlopen(url+str(number))
html = conn.read()
soup = BeautifulSoup(html)
links = soup.find_all('a')
file= open("file.txt","w")
for tag in links:
link = tag.get('href')
print>>file, link
print link
file.close()

最佳答案

由于您以'w'(写入)模式打开文件,因此文件每次都会被覆盖。以附加模式打开文件:

file = open("file.txt", "a")

关于Python 使用 BeautifulSoup 将 url 写入文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22161433/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com