python - 在亚马逊 lambda python 中运行 selenium webdriver

Question

我想在amazon lambda中运行BeautifulSoup和selenium webdriver，我的运行环境是python 3.6。可以运行吗？如果是这样如何。我的目的是使用 beautiful soup 4 和 selenium 从网页中抓取数据(因为它必须抓取由 javascript 动态生成的数据)。

Answer 1

是的，这是可能的。您需要打包 headless Chrome 二进制文件和 chromedriver 以及您需要的所有 Python 包。您还需要在 Selenium 的 Chrome 网络驱动程序中设置几个选项才能使其正常工作。

我写了一个step-by-step tutorial在花费数周令人沮丧的尝试部署之后。