python - 如何使用 Selenium 单击弹出模式框中的按钮

Question

我正尝试在 Python 中使用 Selenium 从 https://www.seekingalpha.com 中提取一些数据.首页有一个“登录/立即加入”链接。我使用 Selenium 单击它，弹出窗口要求使用另一个“登录”按钮提供登录信息。似乎我下面的代码可以输入我的用户名和密码，但我尝试点击“登录”按钮没有得到正确的响应(它点击了弹出框下方的广告。)

我正在使用 Python 3.5。

这是我的代码:

driver = webdriver.Chrome()

url = "https://seekingalpha.com"

driver.get(url)

sleep(5)

driver.find_element_by_xpath('//*[@id ="sign-in"]').click() 

sleep(5)

driver.find_element_by_xpath('//*[@id ="authentication_login_email"]').send_keys("xxxx@gmail.com") 

driver.find_element_by_xpath('//*[@id ="authentication_login_password"]').send_keys("xxxxxxxxx") 

driver.find_element_by_xpath('//*[@id="log-btn"]').click()

非常感谢任何意见/建议。

Answer 1

编辑:之前的“答案”是错误的，所以我已经更新了它。

明白了，伙计，这就是你需要做的:
1.) 获取最新的 firefox
2.) 获取最新的 geckodriver
3.) 使用火狐驱动

driver = webdriver.Firefox(executable_path=r'd:\Python_projects\geckodriver.exe')

url = "https://seekingalpha.com"

driver.get(url)

sign_in = driver.find_element_by_xpath('//*[@id ="sign-in"]')
driver.execute_script('arguments[0].click()', sign_in)
time.sleep(1)

email = driver.find_element_by_xpath('//*[@id ="authentication_login_email"]')
email.send_keys("xxxx@gmail.com")
pw = driver.find_element_by_xpath('//*[@id ="authentication_login_password"]')
pw.send_keys("xxxxxxxxx")
pw.send_keys(Keys.ENTER)

解释:

浏览器是否使用selenium很容易检测tells that information (而且这个页面似乎不想被抓取):

The webdriver read-only property of the navigator interface indicates whether the user agent is controlled by automation.

我一直在寻找如何绕过检测的答案并找到了 this文章。

Your best of avoiding detection when using Selenium would require you to use one of the latest builds of Firefox which don’t appear to give off any obvious sign that you are using Firefox.

试一试，启动后加载了正确的页面设计，登录尝试的结果与手动尝试相同。

还通过更多搜索发现 if you modify your chromedriver ，即使使用 chromedriver，您也有机会绕过检测。

今天也学到了一些新东西。\o/

一个额外的想法:

我使用嵌入式 Chrome (CEF) 做了一个小实验。如果您通过 selenium 打开 chrome 窗口并打开控制台并检查 navigator.webdriver，结果将为 True。但是，如果您打开 CEF 窗口然后对其进行远程调试，则该标志将为 False。我没有用它检查边缘情况，但非边缘情况场景应该可以使用 CEF。

那么您以后可能想查看的内容:

1.) 在命令行中:pip install cefpython3
2.) git clone https://github.com/cztomczak/cefpython.git
3.) 打开您的 CEF 项目并在示例中找到 hello.py
4.) 将启动更新为 cef.Initialize(settings={"remote_debugging_port":9222})
5.) 运行 hello.py
(这是初始的一次性设置，您可以在将来自定义它，但主要的事情已经完成，您有一个打开了调试端口的浏览器)
6.) 将 chrome 启动修改为:

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.debugger_address = "127.0.0.1:9222"
driver = webdriver.Chrome(chrome_options=chrome_options, executable_path=chrome_driver_executable)

7.) 现在您的驱动程序在浏览器中没有“自动”签名。可能会有一些缺点，例如:

• CEF 不是最新的，目前最新发布的 chrome 是 v76，CEF 是 v66。
• “有些东西”也可能不起作用，比如 window.Notification 不是 CEF 中的东西