java - 来自 hbase/文件系统的 hadoop namenode 连接中的 EOF 异常是什么意思？

Question

这既是关于java EOF异常的一般问题，也是Hadoop的EOF异常，它与jar互操作性有关。可以接受关于任一主题的评论和答案。

背景

我注意到一些线程讨论了一个神秘的异常，它最终是由“readInt”方法引起的。此异常似乎具有一些独立于 hadoop 的通用含义，但最终是由 Hadoop jar 的互操作性引起的。

就我而言，当我尝试在 Java 中的 hadoop 中创建一个新的 FileSystem 对象时，我得到了它。

问题

我的问题是:发生了什么以及为什么读取整数会引发 EOF 异常？这个 EOF 异常指的是什么"file"，如果两个 jar 不能互操作，为什么会抛出这样的异常？

其次，我还想知道如何修复此错误，以便我可以使用 hdfs 协议(protocol)和 java api 远程连接并读取/写入 hadoops 文件系统....

java.io.IOException: Call to /10.0.1.37:50070 failed on local exception: java.io.EOFException    at org.apache.hadoop.ipc.Client.wrapException(Client.java:1139)    at org.apache.hadoop.ipc.Client.call(Client.java:1107)    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:226)    at $Proxy0.getProtocolVersion(Unknown Source)    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:398)    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:384)    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:111)    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:213)    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:180)    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1514)    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:67)    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:1548)    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1530)    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:228)    at sb.HadoopRemote.main(HadoopRemote.java:35)Caused by: java.io.EOFException    at java.io.DataInputStream.readInt(DataInputStream.java:375)    at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:819)    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:720)

Answer 1

关于 hadoop:我修正了错误!您需要确保 core-site.xml 服务于 0.0.0.0 而不是 127.0.0.1(localhost)。

如果得到EOF异常，说明该ip上的端口是外部不可访问的，所以hadoop client/server ipc之间没有数据可读。