hadoop - 为什么Datanode进程没有在wsl中运行？

Question

我已经在wsl中设置并配置了我的hadoop，但是当我启动dataNode时，它不起作用。
这是日志

2020-03-24 23:47:08,788 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: registered UNIX signal handlers for [TERM, HUP, INT]
2020-03-24 23:47:09,809 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2020-03-24 23:47:10,199 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid dfs.datanode.data.dir /mnt/d/hadoop/hadoop-2.7.1/tmp/dfs/data : 
ExitCodeException exitCode=1: chmod: changing permissions of '/mnt/d/hadoop/hadoop-2.7.1/tmp/dfs/data': Operation not permitted

    at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
    at org.apache.hadoop.util.Shell.run(Shell.java:456)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:815)
    at org.apache.hadoop.util.Shell.execCommand(Shell.java:798)
    at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:728)
    at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:502)
    at org.apache.hadoop.util.DiskChecker.mkdirsWithExistsAndPermissionCheck(DiskChecker.java:140)
    at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:156)
    at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2344)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2386)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2368)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2260)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2307)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2484)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2508)
2020-03-24 23:47:10,207 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/mnt/d/hadoop/hadoop-2.7.1/tmp/dfs/data/" 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2395)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2368)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2260)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2307)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2484)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2508)
2020-03-24 23:47:10,209 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
2020-03-24 23:47:10,213 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at DESKTOP-U1EOV4J.localdomain/127.0.1.1
************************************************************/

我想让dataNode和nameNode目录位于我的Windows目录中(例如，在mnt / d / hadoop / hadoop-2.7.1 / tmp中)，但是失败了。

我尝试使用 chmod 777 -R hadoop /mnt/d/hadoop，但仍然无法启动。我也厌倦了删除tmp目录并重新格式化namenode。

但是，当我将目录更改为/ home / hadoop / tmp(我的wsl目录)时，dataNode可以正常启动。

根据日志文件，我认为这是一个授权问题，但是我不知道为什么。我怎样才能解决这个问题？

Answer 1

我已经解决了这个问题，这是由Windows授权引起的。

您无法在wsl中的/ mnt下更改文件的权限。

当您使用chown或chmod时，它们实际上不起作用。

您首先需要使用以下说明。

sudo umount /mnt/d
sudo mount -t drvfs D: /mnt/d -o metadata

然后，您可以在wsl中更改文件的权限。

您可以在此处获取更多信息: https://devblogs.microsoft.com/commandline/chmod-chown-wsl-improvements/