scrapy - 当javascript发出多个请求时，如何在Scrapy+Splash中设置cookie？

Question

加载 javascript 后，它会发出另一个 ajax 请求，其中应在响应中设置 cookie。但是，Splash 不会在多个请求中保留任何 cookie，有没有办法在所有请求中保留 cookie？或者甚至在每个请求之间手动分配它们。

Answer 1

是的，scrapy-splash中有一个例子自述文件 - 请参阅 Session Handling部分。简而言之，首先确保所有设置都正确。然后使用 SplashRequest(url, endpoint='execute', args={'lua_source': script}) 发送 scrapy 请求。渲染脚本应该是这样的:

function main(splash)
    splash:init_cookies(splash.args.cookies)

    -- ... your script

    return {
        cookies = splash:get_cookies(),
        -- ... other results, e.g. html
    }
end

scrapy-splash README 中还有一个关于 cookie 处理、 header 处理等的完整示例 - 请参阅最后一个示例 here .