python 通过获取 url 动态方式进行抓取

Question

我是数据抓取领域的新手，之前使用 Python 开发 Web 和桌面应用程序。我只是想知道，是否有任何方法可以从页面获取 url，然后查看它以获取特定信息，例如电话号码、地址等。

目前我正在使用 BeautifulSoup 和构建方法，我将 url 作为方法的参数。

我抓取的网站很大，很难为每个页面传递特定的 url。

有什么建议可以让它更快并 self 驱动吗？

提前致谢。

Answer 1

您可以使用 Scrapy .它简化了抓取和解析(默认使用 libxml2 进行解析)。