curl - 如何轮询资源 URL 以获取文件更改

Question

我有一个位于 url 的文件，比方说 https://www.example.com/file.csv

我需要在文件每次更新时(或至少一次/24 小时)下载该文件，并通过脚本对该文件执行某些操作。

但是，我没有任何类型的通知服务/webhook 可以在文件重新上传到服务器时通知我(我什至已经与支持人员交谈过，但我无法得到我需要的)。

我如何轮询链接以获取更改？以便每次文件更新时，我的脚本都会启动下载并继续执行任务？

我认为 curl 可以帮助我，但我完全迷失了它，一些谷歌搜索没有给我我需要的结果。

Answer 1

curl 可以提供帮助!

使用 curl 执行此操作的最简单方法是每隔 12 小时左右自动调用它(最好使用 crontab 或类似工具)。然后要求 curl 只获取文件如果远程文件比本地文件新:

curl -O -z file.csv https://www.example.com/file.csv

如果您在 crontab 中执行此操作，您可能会添加类似于以下内容的行:

0 0,12 * * * cd download-dir && curl -O -z file.csv https://www.example.com/file.csv

... 这使得 curl 在专用下载目录中相应地每 12 小时更新一次文件 - 如果服务器上的文件比磁盘上的文件新。

它是如何工作的？

作为documentation for curl -z解释:

The date expression (passed to -z) can be all sorts of date strings or if it doesn't match any internal ones, it is taken as a filename and tries to get the modification date (mtime) from the file instead.