gpt4 book ai didi

apache-spark - 我应该下载哪个Spark版本才能在Hadoop 3.1.2之上运行?

转载 作者:行者123 更新时间:2023-12-02 18:29:24 28 4
gpt4 key购买 nike

在Spark下载page中,我们可以在3.0.0-preview版本和2.4.4版本之间进行选择。

对于3.0.0-preview,有软件包类型

  • 为Apache Hadoop 2.7预先构建的
  • 为Apache Hadoop 3.2和更高版本预构建的
  • 用用户提供的Apache Hadoop预先构建
  • 源代码

  • 对于版本2.4.4,有软件包类型
  • 为Apache Hadoop 2.7预先构建的
  • 为Apache Hadoop 2.6预先构建的
  • 用用户提供的Apache Hadoop预先构建
  • 用Scala 2.12和用户提供的Apache Hadoop预先构建的
  • 源代码

  • 由于没有针对Apache Hadoop 3.1.2的预构建选项,我可以下载由用户提供的预构建的Apache Hadoop软件包还是应该下载源代码?

    最佳答案

    如果您愿意构建源代码,那么这是您的最佳选择。

    否则,您已经有一个Hadoop集群,因此请选择“用户提供”,然后将相关的core-site.xml,hive-site.xml,yarn-site.xml和hdfs-site.xml复制到$SPARK_CONF_DIR中,然后希望它大部分都能工作

    注意:直到Spark 3.x,DataFrame才能在Hadoop 3上运行-SPARK-18673

    关于apache-spark - 我应该下载哪个Spark版本才能在Hadoop 3.1.2之上运行?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59266571/

    28 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com