apache-spark - 如何从 PySpark 上下文中提取应用程序 ID

Question

一个 previous question推荐sc.applicationId ，但它不在 PySpark 中, 仅在 scala .

那么，如何找出我的 PySpark 进程的应用程序 ID(对于 yarn )？

Answer 1

您可以通过 Py4J RPC 网关使用 Java SparkContext 对象:

>>> sc._jsc.sc().applicationId()
u'application_1433865536131_34483'

请注意 sc._jsc是内部变量，而不是公共(public) API 的一部分 - 因此将来可能会更改它(相当小)。

我将提交拉取请求以为此添加公共(public) API 调用。