rest - 如何通过 livy 终止 Spark/Yarn 工作

Question

我正在尝试使用rest api通过livy提交spark作业。但是，如果我多次运行相同的脚本，它会运行具有不同作业 ID 的作业的多个实例。我正在寻找一种方法，在开始新作业之前终止以相同名称运行的 Spark/Yarn 作业。 Livy文档说(https://github.com/cloudera/livy#batch)删除批处理作业，但livy session 不返回应用程序名称，只返回应用程序ID。

还有其他方法可以做到这一点吗？

Answer 1

对于 Livy 版本 0.7.0，以下内容有效。

您要停止的 session ID 为 1:

• python

import requests
headers = {'Content-Type': 'application/json'}
session_url = 'http://your-livy-server-ip:8998/sessions/1'
requests.delete(session_url, headers=headers)

• 外壳

curl -X DELETE http://your-livy-server-ip:8998/sessions/1

参见https://livy.incubator.apache.org/docs/latest/rest-api.html