hadoop - 通过Spark获取HDP版本

Question

我们安装了新的 Spark 版本，因此所有文件夹的名称都类似于:

ls /etc/hadoop/
2.6.4.0-91  conf  conf.backup

从 spark-submit 我们得到

spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0.2.6.4.0-91
      /_/

我需要确定 spark 版本 - 2.6.4.0-91。我们可以做到:

ls /etc/hadoop/ | grep [0-9]
2.6.4.0-91

但这种方法不是很好(因为可能有其他带编号的文件夹名称等)

通过 spark-submit --version 我们得到了

version 2.2.0.2.6.4.0-91

虽然我们只需要版本 - 2.6.4.0-91，(没有 2.2.0)

任何想法如何获得版本 - 没有来自 spark-submit --version 的 (2.2.0)？

Answer 1

由于在linux机器上安装了hadoop，

作为:

rpm -qa |grep hadoop | grep client
hadoop_2_6_4_0_91-client-2.7.3.2.6.4.0-91.x86_64

然后我可以使用hdp-select命令来获取所需的HDP版本

 hdp-select |  grep hadoop-client | awk '{print $3}'
 2.6.4.0-91

或:

hdp-select | grep hadoop-client
hadoop-client - 2.6.4.0-91