prometheus - 使用 Prometheus 监控短暂的 Python 批处理作业进程

Question

如何使用 Prometheus 监控我的 python 进程(比如一些由 Cron 守护进程定期触发的脚本)？

请注意，这不是 Web 应用程序，而是由 Cron 守护程序定期启动的短期进程。这个脚本出现，完成它的工作，然后终止。 cron 守护进程每天多次启动相同的 python 脚本(大约 10 万次)。我想从该脚本的各种运行中捕获多个统计信息(例如，运行特定功能所需的时间、消耗的 CPU 和内存量等)

Answer 1

你可能想看看 Prometheus' Pushgateway :每当您的脚本完成时，它可以推送它收集的指标(例如，您的函数调用所用时间的直方图、总 CPU 利用率、峰值内存利用率等)。

您似乎在说您的脚本大约每秒运行一次。我希望这意味着“每 300 个租户每 5 分钟一次”。在这种情况下，您可以使用类似 tenant_id 的内容推送您的指标。标签，并能够查看每个租户或聚合指标。

如果您的脚本以相同的参数/配置每秒运行一次，那么您可能会丢失一些指标，因为多个脚本可能会在同一秒内终止，所有脚本都会推送它们的指标，而 Prometheus 只会收集最后一个的指标(因为我相信您不能在 Prometheus 中设置低于 1 秒的收集间隔)。