gpt4 book ai didi

javascript - 如何检查网站是否有 javascript?

转载 作者:行者123 更新时间:2023-11-28 17:03:15 25 4
gpt4 key购买 nike

我正在使用 beautifulsoup 构建一个 webscraper。有些网站有 javascript 内容,并且不使用 urllib3 加载,因此我为它们使用 selenium。但是 selenium 响应时间太长,我需要构建一个更高效的 webscraper,因为我需要对多个网站使用相同的通用抓取工具。因此我在想是否有某种方法可以找出网站是否有 js 内容,然后我会使用 selenium,否则我会使用更快的 urllib

from selenium import webdriver
from bs4 import BeautifulSoup
import time

browser = webdriver.Chrome()

strt=time.time()
y=browser.get("https://www.amazon.jobs/en/locations/bangalore-india")
#time.sleep(10)
html = browser.page_source
soup = BeautifulSoup(html,'lxml')
li=soup.find_all('ul')
print(li)
print('load time='+str(time.time()-strt))

最佳答案

这是使用 selenium 进行的简单检查

jsSize = (len(driver.find_elements_by_xpath("/html/head/script")))

if jsSize>0:
print("Page contains javascript")

关于javascript - 如何检查网站是否有 javascript?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56734547/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com