gpt4 book ai didi

python - 如何设置代理隐藏我的 IP 地址以使用 dryscrape 抓取网页

转载 作者:太空宇宙 更新时间:2023-11-04 10:31:37 25 4
gpt4 key购买 nike

我有很多活跃的公共(public)代理,我想用来抓取一些页面。

谁能给我一个示例,说明如何在 dryscrape 中设置代理?

https://github.com/niklasb/dryscrape

我尝试使用 python 设置 sys env http_proxy 但没有成功。

最佳答案

您可以使用dryscrape.Session.set_proxy 方法设置代理。

例如:

my_session = dryscrape.Session(base_url = 'https://stackoverflow.com')
my_session.set_proxy('127.0.0.1', 9000)

关于python - 如何设置代理隐藏我的 IP 地址以使用 dryscrape 抓取网页,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26104920/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com