gpt4 book ai didi

java - 如何清除namenode上的所有文件?

转载 作者:行者123 更新时间:2023-12-02 21:45:09 25 4
gpt4 key购买 nike

我已经使用以下命令格式化了名称节点:

sudo service hadoop-hdfs-namenode stop
rm -rf /var/lib/hadoop-hdfs/cache/hdfs/dfs/name
hadoop namenode -format
sudo service hadoop-hdfs-namenode start

但是当格式化之后,当我尝试再次浏览namenode时,它将显示文件。为什么不格式化删除所有文件?
hadoop namenode -format输出的最后几行:
14/09/22 03:25:14 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
14/09/22 03:25:14 INFO util.GSet: capacity = 2^15 = 32768 entries
14/09/22 03:25:14 INFO namenode.AclConfigFlag: ACLs enabled? false
Re-format filesystem in Storage Directory /var/lib/hadoop-hdfs/cache/cloudera/dfs/name ? (Y or N) Y
14/09/22 03:25:16 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1124575958-0.0.0.0-1411381516246
14/09/22 03:25:16 INFO common.Storage: Storage directory /var/lib/hadoop-hdfs/cache/cloudera/dfs/name has been successfully formatted.
14/09/22 03:25:16 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
14/09/22 03:25:16 INFO util.ExitUtil: Exiting with status 0
14/09/22 03:25:16 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at quickstart.cloudera/0.0.0.0
************************************************************/

格式化后,它仍然显示以前的文件:
[cloudera@quickstart name]$ hadoop fs -ls /
Found 3 items
-rw-r--r-- 1 cloudera supergroup 9051 2014-09-22 02:50 /notice.html
drwxr-xr-x - solr solr 0 2014-09-19 02:30 /solr
drwxr-xr-x - hdfs supergroup 0 2014-09-19 02:26 /user

最佳答案

您必须格式化datanode才能删除HDFS上的所有文件,这与namenode类似,
hadoop datanode -formathdfs datanode -formathdfs hadoop datanode -format根据您的hadoop版本。

关于java - 如何清除namenode上的所有文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25972003/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com