python - 如何使用 Python 搜索互联网？

Question

我想编写一个程序来搜索一个相当大的网站并提取某些内容。我有几个在线 Python 类(class)，但都没有提到如何使用 Python 访问互联网。我不知道应该从哪里开始。

Answer 1

你必须首先阅读标准 python 库 urllib2 .

一旦您熟悉了这个库背后的基本思想，您就可以尝试 requests这更容易与网络交互，尤其是 API。我建议将它与 httpie 并行使用从命令行快速测试查询。

如果你进一步构建一个库或一个引擎来抓取网络，你将需要某种异步编程，我建议从 Gevent 开始。

最后，如果你想创建一个爬虫/机器人你可以看看Scrapy .但是，在深入研究这个库之前，您应该从基础库开始，因为它可能会变得非常复杂