python - 设置可以在 Google App 引擎上运行的 python 屏幕抓取工具

Question

我想设置一个自动屏幕抓取工具，它将使用 python 在 Google 应用引擎上运行。我希望它抓取网站并将指定的结果放入应用引擎中的实体中。我正在寻找有关使用方法的一些说明。我看过 beautifulsoup，但想知道是否有人可以推荐任何其他可以在 Google App 引擎上运行的东西。

Answer 1

Beautifulsoup在 App Engine 上运行良好(只要确保使用 3.0.8，而不是不稳定的 3.1.0)。我认为主要的选择是 html5lib -- 我没有在 App Engine 上尝试过，但我相信它确实在那里运行(相当慢 -- 如果这是一个问题，我认为你需要坚持使用 BeautifulSoup)，例如this service在 App Engine 上运行并基于 html5lib。