python - 如何将 scrapy-splash 与旋转代理一起使用？

Question

我仅通过使用以下内容作为请求成功地抓取了 js 内容

def start_requests(self): 
    for url in self.start_urls: 
        yield scrapy.Request(
            url, 
            self.parse, 
            meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5} } }
        )

如何同时应用 excute 和scrapy request 中的 render.html 端点在抓取动态内容时使用旋转代理服务？

Answer 1

您不必同时使用 execute 和 render.html 端点，execute 更为通用。关于代理，execute 端点支持 proxy 参数(请参阅 documentation )，该参数可以是代理 URL，也可以是 Proxy Profile名称。