python - 我应该使用什么纯 Python 库来抓取网站？

Question

我目前有一些用于抓取某些网站的 Ruby 代码。我之所以使用 Ruby，是因为当时我在一个网站上使用 Ruby on Rails，这很有意义。

现在我正尝试将其移植到 Google App Engine，但一直卡住。

我已将 Python Mechanize 移植到 Google App Engine 中，但它不支持使用 XPATH 检查 DOM。

我已经尝试过内置的 ElementTree，但是当它遇到“&mdash”时，它在我给它的第一个 HTML blob 上卡住了。

我是继续尝试在其中破解 ElementTree，还是尝试使用其他东西？

谢谢，标记

Answer 1

BeautifulSoup 。