python - 无法解析 h4 标签内的数据 : Python3

Question

我在解析第三个表的“文献”选项卡中的数据时遇到问题。我到达 table 所采取的步骤:

• 前往 ibl.mdanderson.org/fasmic/#!

• 输入并选择 AKT1(3 个突变)(注意:“GO”按钮不起作用，请从下拉列表中单击该选项)

• 点击带有文字“MS”的绿色按钮，将出现一个新表格。

• 在这个新表格中，将有一个名为文献的选项卡，我需要文献文本和 PMID。

我尝试了以下代码，但它给出了一个空列表:

xyz= driver.find_element_by_xpath("//*[contains(text(),'Literature')]").click()
    for elements in driver.find_elements_by_xpath('//div[@class="tab-pane ng-scope active"]'):

        soup = BeautifulSoup(driver.page_source, 'lxml')
        table = soup.find('div', attrs={'id': "literature_div"})
        table_body = table.find('h4')
        rows = table.find_all('h4')
        for row in rows:
             cols = row.find_all('h4')
             # cols = [ele.text.strip() for ele in cols]
             litrature.append([ele for ele in cols if ele])  # Get rid of empty value
             print("Data from COLUMN 1:")
             print(litrature)

我该如何解决这个问题？

更新当我尝试单击“文学”表下的“下一步”按钮时，出现以下错误: “消息: 的元素引用已过时；该元素不再附加到 DOM，它不在当前框架上下文中，或者文档已刷新”以下是我添加的用于单击“NEXT”按钮的行: driver.find_element_by_xpath('//a[@ng-click="selectPage(page + 1, $event)"]').click()

我该如何解决这个问题？

Answer 1

您需要等待3次

from selenium import webdriver

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Chrome()
driver.get('https://ibl.mdanderson.org/fasmic/#!/')

WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.XPATH , '//input')))
input = driver.find_element_by_xpath("//input")
input.send_keys("AKT1\n")

button = WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.CLASS_NAME , 'btn-tab-avail')))
button.click()
driver.find_element_by_xpath("//*[contains(text(),'Literature')]").click()

WebDriverWait(driver, 5).until(EC.presence_of_element_located((By.CSS_SELECTOR, '#literature_div h4')))
rows = driver.find_elements_by_css_selector("#literature_div h4")

litrature = []

for item in rows:
    item = item.text
    litrature.append(item)
    print("Data from COLUMN 1:")
    print item