hadoop - 如何从开源 Hadoop 构建 deb/rpm 存储库或由 ambari 安装的公开可用的 HDP 源代码

Question

我正在尝试安装开源 hadoop 或从源代码构建 HDP 以由 ambari 安装。我可以看到，可以使用 apache repos 中提供的文档为每个组件构建 java 包，但是我如何使用这些来构建由 hortonworks 提供的 rpm/deb 包，以便由 ambari 安装 HDP 分发。

Answer 1

@ShivamKhandelwal 从源代码构建 Ambari 是一项挑战，但可以通过一些坚持来完成。在这篇文章中，我披露了我最近在 centos 中构建 Ambari 2.7.5 时使用的命令:

Ambari 2.7.5 installation failure on CentOS 7

“从源代码构建 HDP”是一项非常艰巨的任务，因为它需要单独构建每个组件，创建您自己的公共(public)/私有(private)存储库，其中包含每个操作系统风格的所有组件存储库或 rpm。这是一项艰巨的任务，以前由 Hortonworks 的许多员工和组件贡献者管理。

当您从 HDP 安装 Ambari 时，它会与他们的存储库一起开箱即用，包括他们的 HDP 堆栈(HDFS、Yarn、MR、Hive 等)。当您从源代码安装 Ambari 时，没有堆栈。唯一的解决方案是构建您自己的堆栈，这是我擅长做的事情。

我目前正在构建一个 DDP 堆栈作为示例与公众分享。我通过对 HDF 管理包进行逆向工程开始了这个项目，其中包括堆栈结构(文件/文件夹)来角色化 NiFi、Kafka、Zookeeper 等。我已经将它定制为我自己的堆栈，并使用我自己的服务和组件(NiFi、Hue、Elasticsearch 等)。

我对 DDP 的目标是最终为我想要的组件和服务创建自己的存储库，以及我想要安装在集群中的版本。接下来，我将使用最后一个免费的公共(public) HDP 堆栈(HDP 3.1.5)将一些 HDP 组件(如 HDFS、YARN、HIVE)从 HDP 堆栈直接复制到我的 DDP 堆栈中。