scrapy - 如何在 Scrapy Splash 中加载本地 HTML 文件？

Question

我想使用 Scrapy Splash 加载本地 HTML 文件并将其另存为 PNG/JPEG，然后删除该 HTML 文件

script = """
splash:go(args.url)
return splash:png()
"""
resp = requests.post('http://localhost:8050/run', json={
    'lua_source': script,
    'url': 'file://my_file.html'
})
resp.content

它返回我

Failed loading page (Protocol "" is unknown) Network error #301

我也试过

yield SplashRequest(url=filepath, 
                    callback=self.parse_result,
                    meta={'filepath': filepath},
                    args={
                        'wait': 0.5,
                        'png': 1,
                    },
                    endpoint='render.html',
                )

但我得到

2020-04-23 12:07:41 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying http://localhost:8050/render.html> (failed 1 times): 502 Bad Gateway

Answer 1

不建议通过底部两个链接使用localhost。有些人提到关闭 Crawlera 解决了他们的问题。它可能试图通过在线 IP 路由您的请求以到达您的本地主机，这将是有问题的。
Scrapy Splash on Ubuntu server: got an unexpected keyword argument 'encoding'
https://github.com/scrapy-plugins/scrapy-splash/issues/108