gpt4 book ai didi

apache-spark - Apache Spark 2.3.1 与 HDP 3.0 中的 Hadoop 3.0 的兼容性

转载 作者:可可西里 更新时间:2023-11-01 15:49:00 28 4
gpt4 key购买 nike

我计划从 Hortonworks 数据平台 [HDP](版本 2.6.x)升级到 HDP 3.0。但是,Apache Spark 2.3.x 及其与 Hadoop 3.0 的集成似乎存在一些重大错误,这些错误在 Apache Spark JIRA 问题中仍未解决。尽管 Spark 开发团队正在努力解决它们。这些问题是否有 Hortonworks 团队的解决方法/解决方案,或者它们是否仍然存在于 HDP 3.0 中?

关于我的用例的一些 Unresolved 问题:

  1. Spark DataFrames 不适用于 Hadoop 3.0 https://issues.apache.org/jira/browse/SPARK-18673
  2. Kerberos 票证更新在 Hadoop 3 中失败 https://issues.apache.org/jira/browse/SPARK-24493
  3. Spark 在 Hadoop 3 上运行 https://issues.apache.org/jira/browse/SPARK-23534

最佳答案

我检查了与 HDP Spark-2.3.1 和 Hadoop - 3.0.1 的集成。它工作完美,上述问题已在 HDP 版本的 Spark 中解决,但未在 HDP-3 发行说明中提供。查看社区answer

关于apache-spark - Apache Spark 2.3.1 与 HDP 3.0 中的 Hadoop 3.0 的兼容性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52986162/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com