hadoop - hadoop 崩溃后如何格式化和添加文件？

Question

我正在使用 hadoop 版本 1.0.1 和 Ubuntu linux 11.10 运行单节点集群。当它崩溃时我正在运行一个简单的脚本，可能是因为我的电脑进入休眠状态。我尝试使用

重新格式化文件系统

bin/hadoop 名称节点格式

出现以下错误:

错误 namenode.NameNode:java.io.IOException:无法锁定存储/app/hadoop/tmp/dfs/name。该目录已被锁定。在 org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:602)

我尝试使用以下命令添加输入文件:

bin/hadoop fs -copyFromLocal dataDirectory/*.txt inputDirectory

得到错误:

12/04/15 09:05:21 警告 hdfs.DFSClient:DataStreamer 异常:org.apache.hadoop.ipc.RemoteException:java.io.IOException:文件/home/hduser/input/book1.txt 只能被复制到 0 个节点，而不是 1

15 年 12 月 4 日 09:05:21 警告 hdfs.DFSClient: block 空错误数据节点 [0] 节点的错误恢复 == 空12/04/15 09:05:21 警告 hdfs.DFSClient:无法获取 block 位置。源文件“/home/hduser/input/book1.txt”——中止...

之后，我在输入目录中看到文件，但它们的大小为 0。关于如何添加文件有什么想法吗？我能够在 hadoop 崩溃之前添加文件，因此我可以重新安装 linux 和 hadoop，但这似乎有点过分了。谢谢。

Answer 1

你需要先停止hadoop使用

bin/stop-all.sh

然后尝试格式化文件系统，因为 hadoop(名称节点和数据节点仍在运行)它锁定了文件系统，是否会出现该错误。

因此，如果在给出命令 bin/stop-all.sh 后只是终止进程，您可以做的是在 shell 中给出命令“jps”，这将向您显示进程(java 进程)并将有一个与每个进程相关的 pid，你可以给出命令“kill processno”，比如“kill 23232”，像这样杀死所有进程，并使用你说的命令删除你指定的 hdfs 文件系统文件夹。

还要检查磁盘空间是否足够，假设您已经在 Windows 中安装了 ubuntu，您可以通过在/host/和一些文件夹中指定文件系统来获得更多空间。

注意:您不需要格式化 hdfs，因为您可以停止所有名称节点和数据节点并再次启动 hadoop 进程，因为它不会经常损坏，在停止和启动 hadoop 后如果它提供任何错误然后你格式化文件系统。

希望这对你有帮助......