gpt4 book ai didi

scrapy - 如何检测亚马逊站点地图

转载 作者:行者123 更新时间:2023-12-05 07:22:33 26 4
gpt4 key购买 nike

我正试图从 amazon.com 抓取一些产品,但我无法在它的 robots.txt 中找到它

我试过了

amazon.com/sitemap.xml
amazon.com/sitemap.xml.gz
amazon.com/sitemap1.xml.gz
amazon.com/sitemap1.xml

什么都没有

我也试过像这样的站点地图检测器

https://seositecheckup.com/tools/sitemap-test

结果显示亚马逊没有站点地图。真的吗?或者我没有正确的方法。

最佳答案

robots.txt ,您将在底部看到一个站点地图链接,访问被拒绝。此资源可能仅供机器人(特定用户代理、IP...)访问。

关于scrapy - 如何检测亚马逊站点地图,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56465486/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com