python - Scrapy-Splash 是如何实现 Proxy Profiles 的？

Question

我在将 Scrapy-Splash 与 HTTP 代理一起使用时遇到了一些问题(请参阅 "500 Internal Server Error" when combining Scrapy over Splash with an HTTP proxy )，即使我尝试在 http://splash.readthedocs.io/en/latest/api.html#proxy-profiles 之后设置代理配置文件时也是如此.

为了更好地理解发生了什么，我一直在寻找 Scrapy-Splash 源代码的一部分，https://github.com/scrapy-plugins/scrapy-splash , 它解析 /etc/splash/proxy-profiles 中 .ini 文件中指定的代理 host 和 port >.

但是，在存储库中搜索“proxy”或“.ini”没有产生任何结果。有人可以向我解释一下 Scrapy-Splash 中代理分析是如何实现的吗？

Answer 1

首先，Scrapy-Splash 代理设置在 /etc/splash/proxy-profiles 中，但是如果你在容器中运行 splash，你可以将主机代理配置文件映射到容器-v，例如:

sudo docker run -p 8050:8050 -v /etc/splash/proxy-profiles:/etc/splash/proxy-profiles scrapinghub/splash

其次，通过splash访问url时，如果代理配置文件名称不是default.ini，则需要代理参数，例如:

localhost:8050/render.html?url=http://target.com?wait=1&timeout=2&proxy=filename