python - 使用 Python 抓取和解析 Google 搜索结果

Question

我问了一个 question关于实现抓取和保存网页的总体思路。原问题的一部分是:如何从互联网上抓取并保存大量的“关于”页面。

经过一些进一步的研究，我在抓取和解析方面有了一些选择(列在底部)。

今天，我遇到了另一个 Ruby discussion关于如何从谷歌搜索结果中抓取。这为我的问题提供了一个很好的替代方案，可以节省爬行部分的所有工作。

新的问题是:在 Python 中，抓取给定关键字的 Google 搜索结果，在本例中为“About”，最后获取链接以进行进一步解析.继续使用的方法和库的最佳选择是什么？ (以易于学习和易于实现为衡量标准)。

附言在 this website ，一模一样的东西实现了，但是关闭了，要钱多结果。如果没有可用的开源代码，我宁愿自己做，同时学习更多 Python。

哦，顺便说一句，如果有的话，从搜索结果中解析链接的建议会很好。尽管如此，易于学习和易于实现。刚开始学习Python。 :P

---

最终更新，问题已解决。使用 xgoogle 的代码，请阅读以下部分中的注释以使 xgoogle 正常工作。

import time, random
from xgoogle.search import GoogleSearch, SearchError

f = open('a.txt','wb')

for i in range(0,2):
    wt = random.uniform(2, 5)
    gs = GoogleSearch("about")
    gs.results_per_page = 10
    gs.page = i
    results = gs.get_results()
    #Try not to annnoy Google, with a random short wait
    time.sleep(wt)
    print 'This is the %dth iteration and waited %f seconds' % (i, wt)
    for res in results:
        f.write(res.url.encode("utf8"))
        f.write("\n")

print "Done"
f.close()

---

Note 关于 xgoogle(下面由 Mike Pennington 回答):它的 Github 的最新版本默认情况下已经无法使用，可能是由于 Google 搜索结果的变化。该工具主页上的这两个回复 (a b) 提供了解决方案，目前仍在使用此调整。但也许有一天它可能会由于 Google 的更改/阻止而再次停止工作。

---

目前已知的资源:

• 对于抓取，Scrapy似乎是一个流行的选择，一个名为 ScraperWiki 的 webapp很有意思还有another project提取它的库以供离线/本地使用。 Mechanize在不同的讨论中也被多次提出。

• 用于解析 HTML，BeautifulSoup似乎是最流行的选择。当然。 lxml也是。

Answer 1

您可能会发现 xgoogle有用...您似乎要求的很多东西都在那里...