shell - 使用 Scrapy Shell 进行 pretty-print 输出

Question

我正在尝试使用 Scrapy shell 在编写爬行本身之前探索网页。我发现一件事是很难阅读 Scrappy shell 的输出。反正有没有使输出 pretty-print ？

例如，使用命令运行 shell

scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python

然后用 shell 发出命令:

response.css("ul.directory.dir-col > li > a::attr('href')")

可以看到输出都排到网上了，难读。 Scrapy shell 输出格式是 JSON 吗？如何让它可读？

Answer 1

或者，您可以使用带有 firebug 扩展名的 firefox 在源代码中找到正确的 xpath，然后重新格式化并在 scrapy shell 中尝试。