java - Hadoop - 设置单节点集群的问题

Question

我正在尝试按照本文设置 Hadoop 单节点集群 -

http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php

一切看起来都不错，但是当启动 hadoop 并列出所有端口时，我看到几乎没有丢失。

这些是我机器上的端口。TCP 0 0 0.0.0.0:8088 0.0.0.0:* 监听 1001 50434 5765/java
TCP 0 0 0.0.0.0:50010 0.0.0.0:* 监听 1001 45587 5461/java
TCP 0 0 0.0.0.0:50075 0.0.0.0:* 监听 1001 45594 5461/java
TCP 0 0 0.0.0.0:8030 0.0.0.0:* 监听 1001 47365 5765/java
TCP 0 0 0.0.0.0:8031 0.0.0.0:* 监听 1001 47353 5765/java
TCP 0 0 0.0.0.0:8032 0.0.0.0:* 监听 1001 47373 5765/java
TCP 0 0 0.0.0.0:8033 0.0.0.0:* 监听 1001 50861 5765/java
TCP 0 0 0.0.0.0:40641 0.0.0.0:* 监听 1001 50843 5885/java
TCP 0 0 0.0.0.0:50020 0.0.0.0:* 监听 1001 46697 5461/java
TCP 0 0 0.0.0.0:8040 0.0.0.0:* 监听 1001 50850 5885/java
TCP 0 0 0.0.0.0:8042 0.0.0.0:* 监听 1001 50854 5885/java
TCP 0 0 0.0.0.0:50090 0.0.0.0:* 听 1001 46221 5610/java

这是来自链接的列表。

hduser@laptop:~$ netstat -plten | grep Java(并非所有进程都可以识别，非拥有的进程信息 不会显示，你必须是 root 才能看到这一切。)TCP 0 0 0.0.0.0:50020 0.0.0.0:* 监听 1001 1843372 10605/java
TCP 0 0 127.0.0.1:54310 0.0.0.0:* 监听 1001 1841277 10447/java
TCP 0 0 0.0.0.0:50090 0.0.0.0:* 监听 1001 1841130 10895/java
TCP 0 0 0.0.0.0:50070 0.0.0.0:* 监听 1001 1840196 10447/java
TCP 0 0 0.0.0.0:50010 0.0.0.0:* 监听 1001 1841320 10605/java
TCP 0 0 0.0.0.0:50075 0.0.0.0:* 听 1001 1841646 10605/java
tcp6 0 0:::8040:::* LISTEN 1001 1845543 11383/java
tcp6 0 0:::8042:::* LISTEN 1001 1845551 11383/java
tcp6 0 0:::8088:::* 听 1001 1842110 11252/java
tcp6 0 0:::49630:::* LISTEN 1001 1845534 11383/java
tcp6 0 0:::8030:::* LISTEN 1001 1842036 11252/java
tcp6 0 0:::8031:::* LISTEN 1001 1842005 11252/java
tcp6 0 0:::8032:::* LISTEN 1001 1842100 11252/java
tcp6 0 0:::8033:::* 听 1001 1842162 11252/java

我错过的几件重要事情是用于门户网站的 50070。

Answer 1

您可以使用 jps 命令检查正在运行的 Hadoop 进程。

这将向您显示进程名称，如 NameNode、ResourceManager 等，并以其进程 ID 开头。例如:

7413 Jps
38754 ResourceManager
37054 NameNode
37338 SecondaryNameNode

这告诉你名称节点和资源管理器是活的。然后，您可以使用 netstat 检查这些进程正在使用哪些端口。例如:

netstat -lnptu |grep 37054
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 127.0.0.1:9000         0.0.0.0:*                   LISTEN      37054/java
tcp        0      0 127.0.0.1:50070        0.0.0.0:*                   LISTEN      37054/java

可以通过在正确的配置文件中设置适当的配置参数来更改端口。