python - 如何每五分钟下载一个网页？

Question

我想下载网页列表。我知道 wget 可以做到这一点。然而，每五分钟下载每个 URL 并将它们保存到一个文件夹似乎超出了 wget 的能力。有谁知道用 java 或 python 或 Perl 编写的一些工具可以完成任务？

提前致谢。

Answer 1

听起来你想要 use cron with wget

---

但是如果你开始使用 python:

import time
import os

wget_command_string = "wget ..."

while true:
    os.system(wget_command_string)
    time.sleep(5*60)