python - Scrapy + Python，从网站查找链接时出错

Question

我正在尝试查找此页面所有事件的 URL:

https://www.eventshigh.com/delhi/food?src=exp

但我只能看到 JSON 格式的 URL:

 {
    "@context":"http://schema.org",
    "@type":"Event",
    "name":"DANDIYA NIGHT 2018",
    "image":"https://storage.googleapis.com/ehimages/2018/9/4/img_b719545523ac467c4ad206c3a6e76b65_1536053337882_resized_1000.jpg",
    "url":"https://www.eventshigh.com/detail/Delhi/5b30d4b8462a552a5ce4a5ebcbefcf47-dandiya-night-2018",
    "eventStatus": "EventScheduled",

    "startDate":"2018-10-14T18:30:00+05:30",
    "doorTime":"2018-10-14T18:30:00+05:30",

      "endDate":"2018-10-14T22:30:00+05:30",

    "description" : "Dress code : TRADITIONAL (mandatory)\u00A0 \r\n Dandiya sticks will be available at the venue ( paid)\u00A0 \r\n Lip smacking food, professional dandiya Dj , media coverage , lucky draw \u00A0, Dandiya Garba Raas , Shopping and Games .\u00A0 \r\n \u00A0 \r\n Winners\u00A0 \r\n \u00A0 \r\n Best dress ( all",
    "location":{
      "@type":"Place",


          "name":"K And L Community Hall (senior Citizen Complex )",


          "address":"80 TO 49, Pocket K, Sarita Vihar, New Delhi, Delhi 110076, India"



    },

这里是:

"url":"https://www.eventshigh.com/detail/Delhi/5b30d4b8462a552a5ce4a5ebcbefcf47-dandiya-night-2018"

但我找不到任何其他包含链接的 HTML/XML 标记。我也找不到包含链接的相应 JSON 文件。您能帮我抓取该页面所有事件的链接吗:

https://www.eventshigh.com/delhi/food?src=exp

Answer 1

从像这样的 JavaScript 驱动的页面收集信息，一开始可能看起来令人畏惧；但实际上通常可以提高工作效率，因为所有信息都集中在一个位置，而不是分散在大量昂贵的 HTTP 请求查找中。

因此，当页面为您提供这样的 JSON 数据时，您可以通过善待服务器来感谢他们并使用它! :)
在您已经收集到的“源 View 分析”上投入一点时间，这也比尝试通过(昂贵的)Selenium/Splash/ect.-renderpipe 获取信息更有效。

实现这一目标的宝贵工具是XPath。有时我们的 friend 会提供一些额外的帮助regex可能需要。
假设你已经成功获取页面，并且有一个Scrapy response对象(或者您在其他方式收集的响应主体上有一个 Parsel.Selector() )，您将能够访问 xpath()方法为response.xpath或selector.xpath :

>>> response.status
200

您已确定数据以纯文本 (json) 形式存在，因此我们需要深入了解其隐藏位置，最终提取原始 JSON 内容。之后，将其转换为 Python 字典以供进一步使用将是微不足道的。在本例中，它位于容器节点 <script type="application/ld+json"> 内。 。我们的 XPath 可能如下所示:

>>> response.xpath('//script[@type="application/ld+json"]')
[<Selector xpath='//script[@type="application/ld+json"]' data='<script type="application/ld+json">\n{\n  '>,
 <Selector xpath='//script[@type="application/ld+json"]' data='<script type="application/ld+json">\n{\n  '>,
 <Selector xpath='//script[@type="application/ld+json"]' data='<script type="application/ld+json">\n    '>]

这将在 xml 页面中找到每个“脚本”节点，该节点具有“type”的属性和值“application/ld +json”。显然这还不够具体，因为我们发现了三个节点( Selector - 包装在我们返回的列表中)。

根据您的分析，我们知道我们的 JSON 必须包含 "@type":"Event" ，所以让我们的 xpath 对此进行一些子字符串搜索:

>>> response.xpath("""//script[@type="application/ld+json"]/self::node()[contains(text(), '"@type":"Event"')]""")
[<Selector xpath='//script[@type="application/ld+json"]/self::node()[contains(text(), \'"@type":"Event"\')]' data='<script type="application/ld+json">\n    '>]

这里我们添加了第二个限定符，表示我们的 script 节点必须包含给定的文本。
('self::node()' 显示了一些 XPath 轴魔法，可以在此时引用回我们当前的 script 节点 - 而不是它的后代。不过，我们将简化它。)
现在我们的返回列表包含一个节点/选择器。正如我们从 data= 看到的那样字符串，如果我们要 extract()这个，我们现在要得到一些像 <script type="application/ld+json">[...]</script> 这样的字符串。由于我们关心节点的内容，而不是节点本身，因此我们还有一步要做:

>>> response.xpath("""//script[@type="application/ld+json"][contains(text(), '"@type":"Event"')]/text()""")
[<Selector xpath='//script[@type="application/ld+json"][contains(text(), \'"@type":"Event"\')]/text()' data='\n        [\n          \n            \n     '>]

这会返回我们的目标 SelectorList (的 text() ) 。正如您所看到的，我们也可以取消 self 引用。现在，xpath()总是返回 SelectorList ，但我们有一个小 helper :response.xpath().extract_first()将获取列表的第一个元素 - 检查它是否存在 - 在处理之前。我们可以把这个结果放入 data变量，之后就可以简单地 json.loads(data)将其放入 Python 字典中并查找我们的值:

>>> events = json.loads(data)
>>> [item['url'] for item in events]
['<url>',
 '<url>',
 '<url>',
 '<url>']

现在您可以将它们变成scrapy.Request(url) s，您将知道如何从那里继续。

.
_{一如既往，负责任地爬行，让网络成为一个美好的地方。我不赞同任何非法行为。
评估自己的权利或获得访问指定目标资源的许可是自己的责任。}