python - Scrapy 提取脚本值

Question

在特定网址上使用 scrapy shell 我试图确定如何从页面源代码中的脚本中提取作者值或贡献者值？我已经尝试过了

response.xpath('//script').re(r'author":"([0-9.]+)"') 

这是网站源代码中的脚本

<script charSet="UTF-8">...
"author":"3810161","contributor":{"id":"3810161"}},
</script>

Answer 1

您是否尝试打印所有 <script> Scrapy 本身的内容？我想您不会看到与导航检查器中看到的内容相同的内容，因为这些节点似乎是 Javascript 渲染的，而 Scrapy 不处理 Javascript。

如果您只想从这些搜索结果中提取一些内容，您可以使用 api (与您发布的搜索参数相同，但给您一个 JSON 响应，真的更容易解析...)