python - 获取整个站点 python

Question

获取简单的网页非常容易。从python's manumal可以看出

import urllib2
response = urllib2.urlopen('http://python.org/')
html = response.read()

但是如何获取所有站点呢？谁能给我代码吗？

Answer 1

使用BeautifulSoup用于解析站点并对每个链接重复该过程，除非它会将您带到域之外。

非常简单，但如果您还尝试获取没有指向它的链接的动态内容，它会变得复杂。