apache-spark - 使用Hadoop 3.1.2进行Spark制作分发

Question

尝试使用当前的Hadoop 3.1.2(在CentOS 7.5上)从源代码构建Spark 2.4.3:

./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1

使用Hadoop 3.1.0 jar生成tarball，但是

./dev/make-distribution.sh --name hadoop3.1.2 --pip --tgz -Phadoop-3.1.2

导致针对Hadoop 2.6.5进行构建。
mvn help:evaluate -Dexpression=hadoop.version -Phadoop-3.1.2似乎表明3.1.2不是有效的标签，但它是Hadoop的当前稳定版本，并且是Maven Central中的一个标签。

是否存在未满足的依赖关系，导致 make-distribution脚本无法找到所需的条件？

Answer 1

了解到配置文件是在Spark源的pom文件中定义的。最高Hadoop版本是3.1.0。