Hadoop 作业跟踪器只能从本地主机访问

Question

我正在设置 Hadoop (0.20.2)。对于初学者，我只想让它在一台机器上运行——我可能在某个时候需要一个集群，但当我到达那里时我会担心这个。我已经到了我的客户端代码可以连接到作业跟踪器并开始作业的地步，但是有一个问题:作业跟踪器只能从运行它的同一台机器上访问。我实际上用 nmap 进行了端口扫描，它显示端口 9001 在从 Hadoop 机器扫描时打开，而在从其他地方扫描时关闭。

我在三台机器(一台 Mac、一台 Ubuntu 和一台在 VirtualBox 中运行的 Ubuntu VM)上试过这个，结果是一样的。他们都没有设置任何防火墙，所以我很确定这是一个 Hadoop 问题。有什么建议吗？

Answer 1

在您的 hadoop 配置文件中，fs.default.name 和 mapred.job.tracker 是否引用本地主机？

如果是这样，那么 Hadoop 将只监听环回接口(interface)上的端口 9000 和 9001，这是无法从任何其他主机访问的。确保 fs.default.name 和 mapred.job.tracker 指的是您机器的外部可访问主机名。