html - 有没有办法通过请求 HTML 找出 DOM 层次结构中元素之上的元素

Question

我正在 python 中使用 requests-html 进行网络抓取的元素，我遇到了一个问题，我试图抓取的网站上的 HTML 部分在两个地方的结构相同(一个用于移动设备和一个用于桌面)。当我使用 .find() 方法时，它会同时获取它们。区分它们的唯一方法是通过它们上方的 div 的 id。有谁知道是否有一种方法可以搜索另一个元素之上的元素，类似于 .find() 的反面。

Answer 1

您始终可以使用正确的 id 找到您想要的父元素，然后从那里您可以找到所有子元素:

from requests_html import HTMLSession()

with HTMLSession() as s:
    r = s.get(url)
    target = r.html.find('tag#id_of_choice', first=True)
    elems = target.find('tag')