python - 如何加速 JavaScript 网页抓取的过程？

Question

此 Python 函数旨在从 JavaScript 网页中抓取特定标识符(称为 PMID)。当 URL 传递给函数时，它使用 selenium 获取页面。然后代码尝试在 html 标签内查找“pubmedLink”类。如果找到，它将提取的 PMID 返回给另一个函数。

这工作正常，但速度确实很慢。有没有办法通过使用另一个解析器或完全不同的方法来加速该过程？

from selenium import webdriver


def _getPMIDfromURL_(url):

    driver = webdriver.Chrome('/usr/protoLivingSystematicReviews/drivers/chromedriver')
    driver.get(url)

    try:
        if driver.find_element_by_css_selector('a.pubmedLink').is_displayed():
            json_text = driver.find_element_by_css_selector('a.pubmedLink').text
            return json_text
    except:
        return "no_pmid"

    driver.quit()

JS 网页的 URL 示例，

• http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L617434973
• http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L617388849
• http://www.embase.com/search/results?subaction=viewrecord&from=export&id=L46141767

Answer 1

嗯，selenium 速度很快，这就是为什么它是许多测试人员的最爱。另一方面，您可以通过解析内容一次而不是两次来改进代码。

语句的返回值

 driver.find_element_by_css_selector('a.pubmedLink')

可能会存储在变量中并使用该变量。这将使您的速度提高约 1.5 倍。

try:
    elem =driver.find_element_by_css_selector('a.pubmedLink')
    if  elem.is_displayed():
        return elem.text
except:
    return "no_pmid