javascript - 怎么打开网站隐藏的信息

Question

我试图解析网站，但我无法获得有关页面的完整信息。更准确地说，我必须拥有 <fgis-root> 之间的所有信息。和 </fgis-root> , 但没有任何信息。我该如何解决？

from bs4 import BeautifulSoup
import urllib3

http = urllib3.PoolManager()

url = 'https://pub.fsa.gov.ru/ral/view/8/applicant'
response = http.request('GET', url)
soup = BeautifulSoup(response.data)
print(soup)

Answer 1

由于您要查找的内容是从 javascript 生成的，因此您需要模拟浏览器。您可以使用 selenium这样做:

from selenium import webdriver

with webdriver.Firefox() as driver: # e.g. using Firefox webdriver
    driver.get('your_url_here')
    i = driver.find_elements_by_tag_name("fgis-root")

同时 checkout here selenium 的所有可用方法提供在页面中定位元素的功能。