hadoop - copyFromLocalFile 在 CDH4 中不起作用

Question

我已经在亚马逊云(1 台服务器)的 ubuntu 12 LTS 服务器上成功安装了 CDH4。我使用 Cloudera Manager 免费版安装软件并且没有错误)。

我有一个程序使用 java API 将文件从我的家用计算机加载到云中的 HDFS。我想知道为什么这个程序失败以及如何修复它。

Configuration conf = new Configuration();       
conf.set("fs.defaultFS", "hdfs://node01:8020");
FileSystem fs = FileSystem.get(conf);       
Path targetPath = new Path("/users/<username>/myfile.txt");
Path sourcePath = new Path("/home/<username>/myfile.txt");
fs.copyFromLocalFile(false,true,sourcePath,targetPath);

我收到以下错误(名称节点日志):

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/<username>/myfile.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1322)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2170)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:471)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:297)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44080)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:898)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1693)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1689)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1332)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1687)

然后我将我的代码上传到云端并在本地运行代码(将文件从本地 fs 上传到 hdfs)没有任何错误。只有当我从我的个人计算机运行代码时才会发生...

当我在我的云服务器上使用 cli 'hadoop fs -put' 命令时，写入 hdfs 时没有出现任何错误。我还可以使用 Hue 上传文件。我读了一些书，发现当没有足够的磁盘空间时会出现这个问题，但我有足够的 dfs 和非 dfs(见下面的报告)。我可以从我的家用计算机上使用 java API 成功读取 hadoop 文件系统，我什至可以使用 API 连接 HBase 并从中读取/写入。此服务器上的所有端口都对我的 IP 开放。已检查文件权限。程序失败后，我在 hdfs 中看到了我尝试上传的文件，但是内容是空白的(类似这篇文章:https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!topic/cdh-user/XWA-3H0ekYY)

这是 hdfs dfsadmin -report 的输出

Configured Capacity: 95120474112 (88.59 GB)
Present Capacity: 95120474112 (88.59 GB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used: 81465344 (77.69 MB)
DFS Used%: 0.09%
Under replicated blocks: 177
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Live datanodes:
Name: privateip:port (node01)
Hostname: node01
Rack: /default
Decommission Status : Normal
Configured Capacity: 95120474112 (88.59 GB)
DFS Used: 81465344 (77.69 MB)
Non DFS Used: 0 (0 KB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used%: 0.09%
DFS Remaining%: 99.91%
Last contact: Sun Jan 27 03:01:53 UTC 2013

Answer 1

我已经解决了这个问题-

我是从我的家用机器连接到 hadoop，而不是在 hadoop 本地网络上。显然，当你这样做时，名称节点告诉我的家用机器使用数据节点的私有(private) IP 写入数据节点。不在同一个网络上，我的家用机器无法连接到创建此错误的数据节点。

我通过创建从我的家庭网络到 hadoop 网络的 VPN 连接解决了这个问题，现在一切正常。