hdfs - 如何恢复HDFS日志节点？

Question

我已经配置了 3 个日志节点，比如说 JN1、JN2、JN3。他们每个人都将编辑日志保存在/tmp/hadoop/journalnode/mycluster 下...

基于此，我开始了我的 namenode、辅助 namenode 和一堆 datanode。系统运行良好，直到有一天 JN2 和 JN3 是死的。此外，磁盘已损坏。

然后我购买了新磁盘并重新启动了 JN2 和 JN3。坏事是它不再起作用了。

它一直在提示

org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException: Journal Storage Directory /tmp/hadoop/dfs/journalnode/mycluster not formatted
        at org.apache.hadoop.hdfs.qjournal.server.Journal.checkFormatted(Journal.java:457)
        at org.apache.hadoop.hdfs.qjournal.server.Journal.getEditLogManifest(Journal.java:640)
        at org.apache.hadoop.hdfs.qjournal.server.JournalNodeRpcServer.getEditLogManifest(JournalNodeRpcServer.java:185)
        at org.apache.hadoop.hdfs.qjournal.protocolPB.QJournalProtocolServerSideTranslatorPB.getEditLogManifest(QJournalProtocolServerSideTranslatorPB.java:224)
        at org.apache.hadoop.hdfs.qjournal.protocol.QJournalProtocolProtos$QJournalProtocolService$2.callBlockingMethod(QJournalProtocolProtos.java:25431)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)

有没有办法从唯一活着的 JN1 中恢复 JN2 和 JN3？

非常感谢所有可能的解决方案!

谢谢，
英里

Answer 1

我能够通过在日志主机上创建丢失的目录来解决问题，namenode 将在其中写入其编辑文件。

确保创建了 VERSION 文件，否则你会得到 org.apache.hadoop.hdfs.qjournal.protocol.JournalNotFormattedException.
或复制目录中的版本文件