java - 如何解决与网络相关的 (hadoop) 应用程序问题？

Question

大家好，我在 Hadoop 集群方面遇到了一些网络问题，我想我需要了解一些基本的提示和技巧，以加快我找出我的应用无法运行的原因。

以下是我遇到的 4 个基本网络问题:

1) 如何使用 netstat 找出哪些端口是打开的？

2) 端口“打开”与“关闭”是什么意思？

3) 我如何通过名称知道哪些端口是开放的，连接到哪些应用程序？

4) 如何找出哪些 java 应用程序连接到哪些端口？

上下文:我有一个 VM，在 hadoop 中 - 似乎我的 java 程序试图从 hdfs 写入/读取无法看到，或者无法通过 hftp 访问 hdfs(相关问题在这里 How can I access hadoop via the hdfs protocol from java?)。

Answer 1

列出所有正在监听的端口(您可以使用 telnet 连接到它们):

1. netstat -nap | grep 听

2. 这里打开可能意味着某个进程正在监听该端口中的连接。

3. netstat -nap | grep LISTEN 在一列中列出进程 ID。

4. 但是，所有 java 进程仅将 java 显示为主机进程(它们不显示正在运行的 Java 应用程序)。如果您想查看哪个 Java 应用进程正在运行，您可以执行 ps -aux | grep XXX 其中 XXX 是进程 ID。