python - 在 scrapy 框架 python 中解析 JSON 响应的最佳方法

Question

我需要废弃 2 个返回巨大 JSON (1.2MB) 并使用 JSON + JavaScript 构建 HTML 的网站。我想知道最好的方法是什么？

1. 使用selenium渲染JS并抓取HTML

   |-> 不是我最喜欢的。性能问题。

2. 蜘蛛本身解析 JSON 并创建项目。

   |-> 在这种情况下，你们推荐哪个库？

   |-> 这可以扩展吗？因为它将限制于域请求。

3. 将 JSON 本身保存到项目并构建管道来创建项目。

4. 将 JSON 保存到 NoSQL 或队列并使用其他脚本创建项目。

谢谢大家。

Answer 1

与大多数事情一样，这取决于您的目标。如果您想要最忠实的 html 渲染，那么您几乎只能在 selenium 或其他可以执行 javascript 的编程 Web 客户端中进行。

如果您只对 JSON 对象感兴趣，您可能需要考虑使用 scrapy 或自定义请求来获取 JSON，然后使用类似于 python 标准 json module 的内容来解释它。 .

该模块可以非常方便地将 JSON 转换为字典，并且可以非常轻松地使用回调函数将这些字典自动转换为其他 Python 对象。

不幸的是，我不确定这种方法的可扩展性。 这是您必须进一步调查的事情。