gpt4 book ai didi

apache-spark - 是否有 Hadoop 组件的兼容性矩阵?

转载 作者:可可西里 更新时间:2023-11-01 14:32:32 25 4
gpt4 key购买 nike

我想知道是否有生态系统的各种 Hadoop 组件的兼容性矩阵?

每次 Hadoop 升级都会对兼容性产生很大的影响,例如:

  • Apache Spark 2.4 不支持 Hadoop v3,
  • Hadoop 不支持 Java 9 和 10,
  • 等等...

我知道像 Hortonworks 这样的供应商会在每个版本的发行版中发布组件列表,但这并不适合广大公众,因为其中包括已打补丁的组件。

是否必须通过 Jira 的所有错误跟踪器来查找每种工具的兼容性问题?

最佳答案

像 Cloudera/Hortonworks 这样的公司所做的关键事情之一就是采用构成 Hadoop 的所有开源项目,并确保它们能够很好地协同工作。无论是从功能角度还是从安全角度来看,都进行了大量测试和调整,以确保所有内容共同构成一个正确的版本。

现在您已经了解了发布一个发行版需要付出多少努力,并且相对重点关注最近的版本,您可能会明白,除了这些发行版之外,不会有关于“一切如何与一切协同工作”的总体概述.

完全披露:我是 Cloudera 的员工,但即使没有这个,我仍然建议您尽可能使用发行版

关于apache-spark - 是否有 Hadoop 组件的兼容性矩阵?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55589266/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com