api - Rightmove API 和抓取技术和法律

Question

我正在寻找使用属性数据构建一个应用程序。 Nestoria 有一个免费的 API 和使用规则，而 Zoopla 有一个您注册的 API。 OnTheMarket 和 Rightmove 具有完全相同的使用条款(对于竞争对手来说很奇怪？)。 Rightmove 宣传用于上传但不用于下载的 API - 我在 OnTheMarket 上找不到任何内容。

我发现 Rightmove 确实有一个 API，尽管邮政代码搜索被他们自己的输出代码映射混淆了......

https://api.rightmove.co.uk/api/sale/find?index=0&sortType=1&numberOfPropertiesRequested=2&locationIdentifier=OUTCODE%5E1&apiApplication=IPAD

我对使用未推广的 API 持谨慎态度。另一种选择是抓取，这在技术上更困难，而且在法律上也存在问题，尽管从我读到的数据属于公共(public)领域，可以免费使用。

我已联系 Rightmove，但没有得到回复。

是否有人使用 Rightmove api 并获得了他们的授权？似乎最奇怪的是它是开放且可用的，但在搜索它时几乎没有提及。

谁能澄清一下抓取数据有哪些规则/法律/道德？

Answer 1

不要查询他们的隐藏 API。但是您可以在 RightMove.co.uk 网站上运行网络爬虫，并且正如其 Terms of Service 中所述，它是完全合法的。根据第 3.3 节:

You must not use or attempt to use any automated program unless the automated program identifies itself uniquely in the User Agent field and is fully compliant with the Robots Exclusion Protocol

像 Apache Nutch 这样的网络爬虫完全遵循机器人排除协议(protocol)。来自 their robots.txt file我发现他们有精心设计的嵌套 sitemap.xml 文件，因此他们宁愿促进有组织但礼貌的爬行他们的网站。我自己也想获取他们的数据，所以我开始努力用我的资源来抓取它们 - 如果您需要访问这些数据，请告诉我。