Python Crawler - 检查 JavaScript 行是否存在，如果存在，则解析它

Question

我正在使用 lxml.html 在 python 2.7 中抓取页面，我需要执行以下操作...

1) 查明该行是否在页面上。我实际上想看看parent_asin 是否存在。它并不出现在每个页面上。

DetailPage.StateController.setState('parent_asin', 'B0000DB87U');

2) 如果确实存在，如何获取B0000DB87U？当parent_asin 位于页面中时，每个页面的情况都会发生变化。这一切都在 javascript 中，我使用 lxml 来获取和解析 html。需要另一种 JS 方法。

Answer 1

可以使用lxml提取<script>的所有内容标签，然后用正则表达式解析它们。

未经测试的示例:

doc = lxml.html.parse(url)
scripts = doc.xpath('//script')
for script in scripts:
    match = re.findall(r"DetailPage\.StateController\.setState\('parent_asin', '(.*)'\);", script.text)
    if match:
        print match[0]