web-scraping - 如何存储scrapy shell输出/对变量的响应而不是html文件

Question

我正在尝试使用cmdline.execute将html代码存储到名为response的变量中，如下面的代码所示，但它无法存储，并且程序代码在scrapy shell处中断，有人可以告诉我如何将原始html存储到变量中

进口沙皮

从scrapy导入cmdline

linkedinnurl =“https://stackoverflow.com/users/5597065/adnan-stab=profile”

响应= cmdline.execute(“scrapy shell https://stackoverflow.com/users/5597065/adnan-s?tab=profile” .split()))

打印(响应)

Answer 1

您可以这样将原始html存储到变量中:

 class MySpider(scrapy.Spider):
        def parse(self, res):
            with open(dynamic_file_name_function(res.url), 'w') as f:
                f.write(res.body)

如果不需要动态文件名，请执行以下操作:

 class MySpider(scrapy.Spider):
        def parse(self, res):
            with open(your_file_path, 'w') as f:
                f.write(res.body)