api - 哪些免费/付费搜索 API 允许对结果数据进行编程查询和缓存/存储？

Question

如果您对搜索 API 进行过任何认真的研究，您就会知道它们中的大多数都有大量的 TOS/TOU 限制，这使得它们几乎不可能用于除了最愚蠢的应用程序之外的任何其他地方。

Bing 的 2.0 API、Yahoo Search BOSS、Google Places、Google AJAX 搜索(已死)等对我们来说限制太多了。我只需要运行一次有限且数量相对较少的查询(可能是 500k)，存储结果中的特定数据以供在我们的应用程序中使用。

例如，我们需要将企业名称与其目标网站相匹配(我们已经编写了算法，以便在必要时从一组结果中做出“最佳猜测”；我们只需要一个普通的结果集)。此外，我们需要将地址与该公司相匹配。

不幸的是，我可以找到零搜索 API，它允许我们以编程的、非用户启动的方式触发查询。

我们甚至非常渴望为访问此类数据的人提供冷酷的现金；谷歌、必应、雅虎和其他人似乎根本不想要我们的钱(正如他们的 TOS 所证明的那样)……

有什么想法吗？

Answer 1

A freely accessible index of 5 billion web pages, their page rank, their link graphs and other metadata, hosted on Amazon EC2.

http://commoncrawl.org/

他们的服务条款(或 TOU)也非常合理且不受限制:

http://commoncrawl.org/about/terms-of-use/