python - T2.micro running python scraper - 无法控制的CPU

Question

我在运行 Ubuntu 的 t2.micro EC2 实例上设置了网络 scraper。scraper 是用 Python 编写的，它使用 Selenium 和 PhantomJS。它获取的数据被发送到一个单独的 RDS 实例。我设置了一个 cronjob 以每 15 分钟运行一次脚本，它确实如此。这是我的问题:

脚本运行良好(红框)，突然间，它被过度使用，我的实例变得非常慢。我的脚本从几秒内运行到 10 分钟不运行。
在这些突发期间，实例使用 CPU 积分。但是，我的 CPU 积分一直在上升。我发现重启实例可以解决问题。
知道发生了什么事吗？

Answer 1

我一直遇到同样的问题，当我升级到 t2.medium 时，python 脚本运行得更快。如果您使用 python，我建议您使用 psutil

for proc in psutil.process_iter():
    if proc.name() == 'phantomjs':
        proc.kill()

把它放在代码的末尾，浏览器有时会吸走你所有的内存并减慢脚本的速度，尤其是当你在循环中运行 selenium 时。