gpt4 book ai didi

apache-spark - 如何查看在 kubernetes 中运行的 Livy 中的执行程序日志

转载 作者:行者123 更新时间:2023-12-02 12:13:35 28 4
gpt4 key购买 nike

我正在 Kubernetes 上运行稳定/ Spark Helm 部署,并通过 Livy 提交作业。

curl -X POST --data '{"className": "LogBundleConfigFetcher", "file": "http:///aliceparser_2.11-19.12.09.jar" ,"args": [""]}' -H "Content-Type: application/json" http://:8998/batches



我能够在 Livy pod 中看到驱动程序日志。但无法查看执行程序日志。

有什么办法可以查看执行者日志吗?

最佳答案

Livy API 不提供访问 Spark Executor 日志的方法。

我建议您查看 Grafana Loki project用于在 Kubernetes 集群中轻松收集日志。

也可以定制 Livy 以收集 Executor 日志,但这将是一个很大的规模开销。

关于apache-spark - 如何查看在 kubernetes 中运行的 Livy 中的执行程序日志,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59769001/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com