hadoop - 启动 Hadoop 时 EC2 上的权限被拒绝(公钥)

Question

我的经理向我提供了一个 Amazon 实例和一个 ppk。可以登录；尝试安装 hadoop；进行所需的配置更改，例如，将主从文件从本地主机编辑为 EC2 实例名称，将所需的属性添加到 mapred-site.xml/hdfs-site.xml/core-site.xml 文件，将名称节点格式化为 HDFS .现在，当我运行 start-dfs.sh 脚本时，出现以下错误。启动namenode，记录到/home/ubuntu/hadoop/libexec/../logs/hadoop-ubuntu-namenode-domU-12-31-39-07-60-A9.out无法确定主机“XXX.amazonaws.com(某些 IP)”的真实性。

您确定要继续连接吗(是/否)？是的XXX.amazonaws.com:警告:将“XXX.amazonaws.com”(ECDSA) 永久添加到已知主机列表中。XXX.amazonaws.com:权限被拒绝(公钥)。XXX.amazonaws.com:权限被拒绝(公钥)。

截至目前，主节点和从节点将是同一台机器。

XXX是实例名，some IP是它的IP。出于安全原因屏蔽它们。

我完全不知道使用 EC2 实例、SSH 等。只需要在其中运行一个简单的 MapReduce 程序。

请提出建议。

Answer 1

Hadoop 使用 SSH 将信息从主机传输到从机。看起来您的节点正在尝试通过 SSH 相互通信，但尚未配置为这样做。为了进行通信，Hadoop 主节点需要对从节点进行无密码 SSH 访问。 Passwordless 很有用，因此每次尝试运行作业时，您都不必为每个从属节点再次输入密码。那会很乏味。看来您必须先在节点之间进行设置，然后才能继续。

我建议您查看 this guide并找到名为“配置 SSH”的部分。它列出了如何实现这一目标。