javascript - PhantomJS 和 Selenium Webdriver - 如何抓取由 js 加载的下一页表

Question

大家都告诉我，一旦我使用PhantomJS，我就会得到JS生成的表格内容。但我还是失败了。

我希望在网站 http://data.eastmoney.com/xg/xg/default.html 上获得表格

第一页没问题。

当我在page2的css选择器位置上使用click()获取page2时，返回的内容仍然是page1。有什么问题吗？

#coding:utf-8
from selenium import webdriver
import time
from selenium.webdriver.support.ui import WebDriverWait

driver = webdriver.PhantomJS()
driver.get("http://data.eastmoney.com/xg/xg/default.html")
time.sleep(2)
driver.find_element_by_css_selector("#PageCont > span.at").click()

list_cates = driver.find_element_by_css_selector("#dt_1 > tbody > tr:nth-child(1) > td:nth-child(2) > a").text
print(list_cates)

Answer 1

您的问题是您在点击发生后没有等待数据更新。您需要等待一段时间以便 Ajax 调用完成

#coding:utf-8
from selenium import webdriver
import time
from selenium.webdriver.support.ui import WebDriverWait

driver = webdriver.PhantomJS()
driver.get("http://data.eastmoney.com/xg/xg/default.html")
time.sleep(2)
driver.find_element_by_css_selector("#PageCont .next").click()

time.sleep(5)
list_cates = driver.find_element_by_css_selector("#dt_1 > tbody > tr:nth-child(1) > td:nth-child(2) > a").text
print(list_cates)
# Prints '太平鸟'

与第2页数据匹配