javascript - 使用 Scrapy 获取 JavaScript 函数的参数

Question

我想知道是否可以使用 Scrapy 从类似于此的代码中提取 JavaScript 函数的参数:

<script type="text/javascript">
    var map;
  function initialize() {
    var fenway = new google.maps.LatLng(43.2640611,2.9388228);
  };
}
</script>

我想提取坐标 43.2640611 和 2.9388228。

Answer 1

这是 re() 的地方方法会有所帮助。

想法是定位script通过 xpath() 标记并使用 re()提取 lat和 lng来自 script标签的内容。来自 scrapy shell 的演示:

$ scrapy shell index.html
>>> response.xpath('//script').re(r'new google\.maps\.LatLng\(([0-9.]+),([0-9.]+)\);')
[u'43.2640611', u'2.9388228']

哪里index.html包含:

<script type="text/javascript">
    var map;
  function initialize() {
    var fenway = new google.maps.LatLng(43.2640611,2.9388228);
  };
}
</script>

_{当然，在您的情况下，xpath 不只是 //script .}

仅供引用，new google\.maps\.LatLng\(([0-9.]+),([0-9.]+)\);正则表达式使用 saving groups ([0-9.]+)提取坐标值。

另见 Using selectors with regular expressions .