web-scraping - 如何防止在抓取亚马逊时被列入黑名单

Question

关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。












想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。

2年前关闭。




Improve this question




我尝试通过 Scrapy 抓取 Amazon。
但我有这个错误

DEBUG: Retrying <GET http://www.amazon.fr/Amuses-bouche-Peuvent-b%C3%A9n%C3%A9ficier-dAmazon-Premium-Epicerie/s?ie=UTF8&page=1&rh=n%3A6356734031%2Cp_76%3A437878031> 
(failed 1 times): 503 Service Unavailable

我认为这是因为 = 亚马逊非常擅长检测机器人。
我怎样才能防止这种情况？

我用过 time.sleep(6)在每个请求之前。

我不想使用他们的 API。

我试过用 Tor 和 polipo

Answer 1

您必须对亚马逊非常小心，并遵守亚马逊使用条款和与网络抓取相关的政策。

亚马逊非常擅长禁止机器人的 IP。您必须调整 DOWNLOAD_DELAY 和 CONCURRENT_REQUESTS 减少访问网站的频率并成为一个良好的网络抓取公民。而且，您需要轮换 IP 地址(例如，您可以查看 crawlera )和 user agents .