amazon-web-services - 如何在 AWS glue 中检查 Spark 和 Hadoop 的版本？

Question

我通过(基本支持计划)使用 AWS。我想知道 AWS 粘合作业中使用了哪个版本的 Spark 和 Hadoop (HDFS)。这样我就可以在我的本地机器上设置相同的环境进行开发。

或者，如果我了解了 Spark 的版本，那么对应 AWS 胶水作业使用的是哪个 Hadoop 版本，反之亦然。

因为我使用的是基本支持计划。所以，我无法向支持中心提出案例。知道在哪里可以检查 AWS 胶水作业...Spark 和 Hadoop 版本吗？

感谢任何形式的帮助和建议。谢谢!

Answer 1

如果您使用的是 Spark > 2.0，则

1.在 Pyspark 中:

获取 Spark 版本:

print("Spark Version:" + spark.version)

在 spark < 2.0 中:

sc.version

获取 Hadoop 版本:

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

2.在 Scala 中:

Spark 版本:

println ("Spark Version:" + spark.version)

在 spark < 2.0 中:

sc.version

Hadoop 版本:

println("Hadoop version: " + org.apache.hadoop.util.VersionInfo.getVersion())