hadoop - 至少一个文件系统不支持 ACL : Distcp HDFS

Question

 As per distcp documentation -> If -pa is specified, DistCp preserves the permissions also because ACLs are a super-set of permissions.

but hadoop distcp -pa -delete -update /src/path /dest/path/is failing with ACLs not supported on at least one file system.Complete logs below

上面的命令执行失败。预期是使用 ACL 将 hdfs 文件从源复制到目标。

org.apache.hadoop.tools.CopyListing$AclsNotSupportedException:文件系统不支持 ACL:hdfs://10.20.0.7:8020 在 org.apache.hadoop.tools.util.DistCpUtils.checkFileSystemAclSupport(DistCpUtils.java:381) 在 org.apache.hadoop.tools.DistCp.configureOutputFormat(DistCp.java:353) 在 org.apache.hadoop.tools.DistCp.createJob(DistCp.java:247) 在 org.apache.hadoop.tools.DistCp.createAndSubmitJob(DistCp.java:176) 在 org.apache.hadoop.tools.DistCp.execute(DistCp.java:155) 在 org.apache.hadoop.tools.DistCp.run(DistCp.java:128) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) 在 org.apache.hadoop.tools.DistCp.main(DistCp.java:462)

Answer 1

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<insecure_hdp>/test01.txt hdfs://<secure_hdp>/user/hdfs

确保从安全集群运行此命令(如果有的话)。

或

在您的 core-site.xml 中设置以下值并重试:

<property> 
  <name>ipc.client.fallback-to-simple-auth-allowed</name>
  <value>true</value>  
</property>