hadoop - Hadoop previous.checkpoint位置

Question

我尝试了hadoop-1.0.3以及1.0.4。两者都在伪集群模式下。

我的理解是，previous.checkpoint目录应该在由“fs.checkpoint.dir”指定的辅助名称节点下创建吗？在任何情况下，我都可以在“dfs.name.dir”指定的namenode目录下找到它。这与伪模式有关，还是我的理解是错误的？有人可以帮忙吗？

以下是我的 hdfs-site.xml 文件。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/lab/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/lab/hdfs/datanode</value>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
        <value>/home/hadoop/lab/hdfs/secnamenode</value>
    </property>
</configuration>

以下是守护程序的高级目录结构

hadoop@ubuntu:~/lab/hdfs$ ls -l
total 12
drwxr-xr-x 6 hadoop hadoop 4096 Mar 14 03:41 datanode
drwxrwxr-x 5 hadoop hadoop 4096 Mar 14 03:41 namenode
drwxrwxr-x 4 hadoop hadoop 4096 Mar 14 04:46 secnamenode

以下是NameNode目录的详细信息

hadoop@ubuntu:~/lab/hdfs$ ls -l namenode
total 12
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:13 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:34 previous.checkpoint

以下是SNN目录的详细信息

hadoop@ubuntu:~/lab/hdfs$ ls -l secnamenode
total 8
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:46 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock

如果您需要更多详细信息，请告诉我。

谢谢
破布

Answer 1

我对此进行了广泛而绝望的搜索。似乎有一个很长的未决bug HDFS-1839，它从SecondaryNameNode中删除了previous.checkpoint目录。同一错误可能是导致在NameNode下创建此目录的原因。

到目前为止，我已经看到了hadoop的所有版本，并且在所有这些下，在NameNode下始终创建了previous.checkpoint目录。

希望很快会修复此错误，或者希望Apache Hadoop阐明为什么在NameNode下创建目录