python-3.x - 如何在 Google Cloud Composer 中设置 chromedriver 的路径

Question

我正在尝试运行一个 DAG，每周使用 selenium 在 Cloud Composer 上抓取一个网页。

我已经尝试在创建 WebDriver.Chrome() 实例时为我上传到 GCS 的驱动程序提供路径，但我认为这不是执行此操作的最佳方法。

Airflow 给出了这个错误

Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

如果您对更新 Cloud Composer 的 PATH 变量有任何提示，我们将不胜感激。如果我需要输入更多信息，请发表评论，我会补充。

Answer 1

因此没有官方答案，Composer 和 GKE 的 Slack channel 都无法提供帮助。真正的问题是二进制文件不在 Composer 上。现在最好的答案是手动 ssh 到你所有的 GKE airflow-workers 并自己安装谷歌浏览器:https://linuxize.com/post/how-to-install-google-chrome-web-browser-on-ubuntu-18-04/

然后将您安装的正确版本的 Chrome 的 chromedriver 放在 dags/dependencies 文件夹中，并在实例化 Webdriver 对象时引用它。希望这对您有所帮助!