gpt4 book ai didi

python - 抓取亚马逊时被阻止(即使有标题、代理、延迟)

转载 作者:太空宇宙 更新时间:2023-11-04 10:05:11 25 4
gpt4 key购买 nike

<分区>

我有一个 Python 代码来抓取亚马逊产品列表。我已经设置了代理和标题。在每次抓取之前,我还有 sleep()。但是,我仍然无法获取数据。我收到的消息是:

To discuss automated access to Amazon data please contact api-services-support@amazon.com

我的部分代码是:

url = "https://www.amazon.com/Baby-Girls-Shoes/b/ref=sv_sl_fl_7239798011?ie=UTF8&node=7239798011"
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}
proxies_list = ["128.199.109.241:8080","113.53.230.195:3128","125.141.200.53:80","125.141.200.14:80","128.199.200.112:138","149.56.123.99:3128","128.199.200.112:80","125.141.200.39:80","134.213.29.202:4444"]
proxies = {'https': random.choice(proxies_list)}
time.sleep(0.5 * random.random())
r = requests.get(url, headers, proxies=proxies)
page_html = r.content
print page_html

这个问题与 Stackoverflow 上的其他问题不重复,因为其他问题建议使用代理、 header 和延迟( sleep ),而我已经完成了所有这些。即使按照他们的建议我也无法抓取。

该代码最初可以运行,但在抓取了几页后停止运行。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com