authentication - 从远程计算机将文件放在 HDFS 上时如何指定用户名？

Question

我有一个 Hadoop 集群设置并在一个通用的默认用户名“user1”下工作。我想从不属于 hadoop 集群的远程机器将文件放入 hadoop。我以一种方式在远程机器上配置了 hadoop 文件，当

hadoop dfs -put file1 ...

从远程机器调用，它将 file1 放在 Hadoop 集群上。

唯一的问题是我在远程机器上以“user2”身份登录，但没有给我预期的结果。事实上，上面的代码只能在远程机器上执行为:

hadoop dfs -put file1 /user/user2/testFolder

但是，我真正想要的是能够将文件存储为:

hadoop dfs -put file1 /user/user1/testFolder

如果我尝试运行最后一个代码，hadoop 会因为访问权限而抛出错误。无论如何，我可以在 hadoop dfs 命令中指定用户名吗？

我正在寻找类似的东西:

hadoop dfs -username user1 file1 /user/user1/testFolder

Answer 1

如果您使用 HADOOP_USER_NAME 环境变量，您可以告诉 HDFS 使用哪个用户名进行操作。请注意，这仅在您的集群未使用安全功能(例如 Kerberos)时才有效。例如:

HADOOP_USER_NAME=hdfs hadoop dfs -put ...