hadoop - cdh 包是如何定义的？

Question

我对 cdh 及其维护方式有疑问:

当我转到与特定 cdh 版本相关的包装信息时，我可以检查每个组件的包装版本(例如 cdh 5.5.5 : https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh_package_tarball_55.html#cdh_555 )。但是我不明白“包版本”到底指的是什么。例如，对于组件 Apache Parquet，“包版本”是 parquet-1.5.0+cdh5.5.5+181 。我怎样才能确切地知道打包了哪些源代码？这是否对应于特定 repo 上的标签？如果我去“官方”apache parquet repo，没有“cdh5.5.5”分支，我拥有的最接近的东西是一个名为“1.5.0”(https://github.com/apache/parquet-mr/tree/parquet-1.5.0)的标签。 cdh 的人怎么知道 parquet-1.5.0+cdh5.5.5+181 到底指的是什么？

仍然关于 Apache Parquet，为什么即使最新的 cdh 版本仍在使用 Apache Parquet on tag 是 2014 年 5 月 22 日，即 3 年多前。他们为什么不升级到更新的版本，比如 1.6.0 ？我问的原因是 1.5.0 中有一个错误，3 年前在 parquet 1.6.0 中已修复，但最新的 cdh 版本仍在使用 1.5.0 版本。他们为什么继续使用一个非常旧的、有漏洞的版本是有原因的吗？

谢谢 !

Answer 1

您假设 parquet-1.5.0+cdh5.5.5+181 最接近 parquet 1.5.0 是正确的。但是代码与 parquet 1.5.0 不同
上游，因为:

CDH 强制执行跨组件兼容性。使用 parquet-1.5.0 的代码和应用程​​序还必须与所有其他 Hadoop 服务(HDFS、Hive、Oozie、YARN、Spark、Solr、HBase)一起使用。必须修复不兼容性，因此 parquet 的代码将包含这些错误修复。

CDH 强制执行主要版本兼容性。这意味着在 CDH5.1 上编写的应用程序仍然可以在 CDH5.5 和 CDH5.7 上运行，所有 CDH5.x 版本。这也会改变代码库。

解释这一点的最佳方式是说 parquet-1.5.0+cdh5.5.5+181 将支持 parquet 1.5.0 中提供的所有功能，并且还将与 CDH5.5 打包的相应 Hadoop 服务一起使用。

版本兼容性也是CDH Hadoop服务版本运行相关上游项目的旧版本的原因。保持向后兼容性要困难得多，特别是如果 API 在版本之间发生变化。