python - Selenium Chrome 每隔一段时间就挂一次

Question

我的 selenium chrome 脚本每次运行时都会挂起，并且只有在使用扩展程序运行时才会出现这种情况，但我不知道为什么。

我最近似乎突然遇到了一个让我严重困惑的问题。我有一个通过 Chrome 运行的 python selenium 脚本，它利用代理服务器，因为它使用用户名/密码组合来进行身份验证，而不仅仅是通过 IP 进行身份验证。我已经制作了一个 chrome 扩展，驱动程序在开始新 session 之前加载该扩展。

下面是脚本:

import selenium
import selenium.webdriver.common.proxy
import selenium.webdriver.common.desired_capabilities

chrome_options = selenium.webdriver.ChromeOptions()
chrome_options.add_argument("disable-infobars")
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--ignore-ssl-errors')


prefs = {"profile.default_content_setting_values.notifications" : 2, "profile.managed_default_content_settings.images": 2, "profile.default_content_settings.images":2, 'disk-cache-size': 4096 }
chrome_options.add_experimental_option("prefs",prefs)

add_log_prefs = selenium.webdriver.common.desired_capabilities.DesiredCapabilities.CHROME
add_log_prefs['loggingPrefs'] = { 'browser':'ALL' }

chrome_options.add_argument('--load-extension='+proxy_extension_path)

driver = selenium.webdriver.Chrome(chrome_driver_path,
                                   options=chrome_options,
                                   desired_capabilities=add_log_prefs)

driver.set_window_size(window_size_w, window_size_h)

driver.get('https://www.google.com/')

以下是扩展名:

Manifest.json:

{
    "version": "1.0.0",
    "manifest_version": 1,
    "name": "Chrome Proxy",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
    },
    "minimum_chrome_version":"1.0.0"
}

背景.js:

var config = {
        mode: "fixed_servers",
        rules: {
          singleProxy: {
            scheme: "http",
            host: "HOST",
            port: parseInt(PORT)
          },
          bypassList: ["localhost"]
        }
      };

chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

function callbackFn(details) {
    return {
        authCredentials: {
            username: "USERNAME",
            password: "PASSWORD"
        }
    };
}

chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: ["<all_urls>"]},
            ['blocking']
);

我遇到的问题是，当我启动脚本并尝试通过 get 加载网站时，例如driver.get("https://www.google.com/ ")，每次我启动程序时它都会导航到该网站，并且每隔一次它就会超时。当超时时，我可以自己手动进入并导航到该网站，所以看起来它只是卡在那里。

即使我重新运行脚本并清理它以查找任何加载的变量等，也会发生这种情况，但事实上，这种情况每隔一段时间就会发生一次，这表明在脚本之后有一些剩余的设置被清除超时，然后在成功导航到网址后重新启动。

编辑:此外，我尝试添加配置文件并更改它，但这也对我的情况没有帮助。我考虑过以不同的方式使用代理服务器，但除了扩展名之外，我找不到任何使用带有密码/名称的代理服务器的方法。

我完全不知所措，并且已经连续几个小时致力于解决这个问题，所以任何建议将不胜感激。

Answer 1

使用自定义 chrome 配置文件是解决此问题的解决方案之一。不要问我如何以及为什么:-)仍然需要调查这部分。

但现在，如果您想继续使用脚本，请将以下行添加到您的 chrome 选项中。

 options.add_argument(r"--user-data-dir=path\to\chrome\user data\any_new_profile_name")
 # below is the sample
 options.add_argument(r"--user-data-dir=C:\Users\xxxx\AppData\Local\Google\Chrome\User Data\ChromeAutoProfile")

您不必创建新的 chrome 配置文件，如果配置文件不存在，脚本将首次创建该配置文件。