google-search - 是否有编程方式从 Google 搜索返回 "about N results"号码？

Question

我希望能够为任意的 Google 搜索词抓取“关于 N 个结果”的数字。谷歌对刮刀相当有抵抗力，所以虽然这可能是一个需要做一些工作的选择，但我特别问是否有更好的方法来做到这一点？也许谷歌提供的预先存在的 API 可以满足这种需求？

Answer 1

我不会尝试抓取，因为这很可能会产生法律后果，但会使用 Google 自定义搜索 API。您需要一个 API key 和一个 CX id(这是您将在 Google 帐户中设置的自定义搜索引擎的 id)

一旦您可以访问 API 和您的 CX id，您就可以向 cse.list 方法提交查询并在 totalResults 下的响应中获取您要查找的号码。 .

在设置和自定义自定义搜索引擎时，您必须定义要搜索的站点。幸运的是，您可以添加*.com、*.net 等通配符。或者按照此页面上的说明搜索整个网络:https://support.google.com/customsearch/answer/2631040?hl=en

我已经包含了您在下面继续前进所需的所有链接。拥有 CX id 后，请试用 API List Explorer。它将为您提供实时响应数据，您可以查看和使用这些数据。

Google 自定义搜索 API

https://developers.google.com/custom-search/

这是您要使用的方法/端点:

https://developers.google.com/custom-search/json-api/v1/reference/cse/list

cse.list 方法浏览器:

https://developers.google.com/apis-explorer/#p/customsearch/v1/search.cse.list

设置和管理您的自定义搜索引擎

https://cse.google.com/cse/manage/all

注:结果可能会有所不同，具体取决于您配置搜索引擎的方式。我设置了一个测试来搜索整个网络，重点是 *.com 和 *.net 域，而且我得到的数字比 Google 在“关于 N 个结果”中显示的数字要大。我不确定您是否需要那个确切的数字，但他们将其描述为“关于”，因此无论如何它都不能是完全准确的数字。关键是，使用 CSE，您可以控制如何配置它，并且您应该能够非常接近。