hadoop - 在/tmp 中设置 hadoop.tmp.dir

Question

我在 Hadoop 文档中看到 1 hadoop.tmp.dir 的默认值是 /tmp/hadoop-${user.name} 但如果我这样设置，当机器重新启动时，我是否丢失数据？

我的意思是，也许我不必在真正的 /tmp 中设置它，但我需要在 /home/myuser/tmp/hadoop-${user.姓名 ?

提前致谢!

添加信息:

我在/tmp/hadoop-hduser 中设置了它，但是由于电源问题导致计算机中断，今天我收到此消息:Call From java.net.UnknownHostException: hduser-machine: hduser-machine to本地主机:54310 连接异常失败:java.net.ConnectException:连接被拒绝；有关更多详细信息，请参阅:http://wiki.apache.org/hadoop/ConnectionRefused 我运行了这个命令 hadoop namenode 我得到了这个:ERROR namenode.NameNode: Failed启动名称节点。
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:目录/tmp/hadoop-hduser/dfs/name 处于不一致状态:存储目录不存在或不可访问。 我认为它是由于/tmp 配置...

Answer 1

默认情况下，Hadoop 配置为开箱即用。为了实现这一点，所有重要的(非临时的)目录都指向 ${hadoop.tmp.dir}，它又指向 /tmp，后者又存在在所有 Linux 系统上。

因此，您还需要调整其他重要路径，参见hdfs-default.xml :

dfs.namenode.name.dir
dfs.datanode.data.dir
dfs.namenode.checkpoint.dir

它们是不同的选项，因为在现实环境中，跨不同物理存储设备分发临时和非临时数据可能是可行的。但如果设置很小，那么从技术上讲是的，您可以将 ${hadoop.tmp.dir} 指向某个持久(非/tmp)位置并忽略我上面写的内容。