gpt4 book ai didi

apache-spark - 有哪些工具/框架可用于 Spark 作业监控和警报?

转载 作者:行者123 更新时间:2023-12-03 07:29:12 24 4
gpt4 key购买 nike

我们很少有 Spark 批处理作业和流作业。 Spark 批处理作业在 Google Cloud VM 上运行,Spark 流作业在 Google Dataproc 集群上运行。管理工作变得越来越困难。所以我们想实现一些机制来监控工作的健康状况。
我们的基本要求是知道:

  • 作业开始的时间以及处理数据所需的时间。
  • 有多少记录受到影响。
  • 如果有任何错误,发送警报。
  • 每天可视化上述指标,并在需要时采取行动。

  • 我不熟悉 Spark 域。我探索了 Google Dataproc 中的 stackdriver 日志记录,但没有找到 dataproc 集群上流式作业的日志。
    我知道可以使用 ELK 堆栈,但我想知道 Spark 生态系统中针对此类需求的最佳实践是什么。
    谢谢。

    最佳答案

    Google Cloud Dataproc 写入日志并将指标推送到 Google Stackdriver您可以使用它进行监控和警报。

    查看有关如何将 Dataproc 与 Stackdriver 结合使用的文档:
    https://cloud.google.com/dataproc/docs/guides/stackdriver-monitoring

    关于apache-spark - 有哪些工具/框架可用于 Spark 作业监控和警报?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50559573/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com