cookies - 我应该怎么做才能启用 cookie 并为此网址使用 scrapy？

Question

我正在使用这个 url https://www.walmart.ca/en/clothing-shoes-accessories/men/mens-tops/N-2566+11 的 scrapy 项目

我尝试使用 url 并在 shell 中打开它，但出现 430 错误，所以我在标题中添加了一些设置，如下所示:

scrapy shell -s COOKIES_ENABLED=1 -s USER_AGENT='Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:46.0) Gecko/20100101 Firefox/46.0' "https://www.walmart.ca/en/clothing-shoes-accessories/men/mens-tops/N-2566+11 "

它得到了页面“200”，但是一旦我使用 View (响应)，它就将我引导到一个页面，上面写着:对不起!您的网络浏览器不接受 cookie。

日志截图如下:

Answer 1

你应该有

COOKIES_ENABLED = True

在您的 settings.py 文件中。

另见

COOKIES_DEBUG = True

要调试 cookie，您将看到分别在每个响应/请求中传入/传出哪些 cookie。