Hadoop安装配置 : multiple versions side-by-side on same host

Question

能否在同一个系统上以伪分布式的方式安装不同版本的Hadoop？

其实我想探索不同版本的 hadoop-1.x 和 hadoop-2.x 的特性，我已经在运行 Linux 的两个不同系统上配置了 hadoop-1.x 和 hadoop-2.x。有什么方法可以在同一台机器上配置吗？

Answer 1

是的，可以在同一台主机上并排安装多个版本的 Hadoop 软件。

• 将不同版本的 Hadoop 软件提取到单独的子目录中。
• 为不同的版本创建单独的配置文件(core-site.xml、hdfs-site.xml、yarn-site.xml 等)，并将这些文件集保存在单独的目录中。
• 确保为使用本地存储的东西配置不同的目录，例如 hdfs 中的 dfs.namenode.name.dir 和 dfs.datanode.data.dir-网站.xml。这两个版本的数据应该相互隔离。或者，如果您想尝试在两个不同版本之间共享数据，并且一次只运行一个版本，那么您也许可以实现这一目标。根据涉及的软件版本，您可能会遇到数据不兼容或需要运行升级命令的情况。
• 如果您想同时运行多个版本，请确保为它们配置了不同的服务器端口，例如 hdfs-site.xml 和 yarn 中的 dfs.namenode.rpc-address。 yarn-site.xml 中的 server.resourcemanager.address。
• 调用命令时，设置环境变量，如 HADOOP_HOME 和 HADOOP_CONF_DIR 以控制要执行的版本和使用的配置。

以上所有内容都适用于手动部署的安装，例如使用 Apache Hadoop 发行版。对于 Bigtop 发行版或供应商发行版，rpm/deb/etc。打包可能不太容忍并行部署。