使用密码文件的 Hadoop 凭据

Question

我正在阅读中提供的 Hadoop 凭证文档 https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/CredentialProviderAPI.html

但是在使用第三个选项使用密码文件为 keystone 提供密码时，我每次都失败。下面提供了所用命令的摘录。谁能告诉我错误是什么以及如何纠正。

hadoop 凭证 -Dhadoop.security.credstore.java-keystore-provider.password-file=/home/dir/test.txt create mssql2.password -value 'SomePassword' -provider localjceks://file/home/dir/aws3.jceks

错误如下:

java.io.IOException: 密码文件不存在 在 org.apache.hadoop.security.ProviderUtils.locatePassword(ProviderUtils.java:135) 在 org.apache.hadoop.security.alias.AbstractJavaKeyStoreProvider.locateKeystore(AbstractJavaKeyStoreProvider.java:323) 在 org.apache.hadoop.security.alias.AbstractJavaKeyStoreProvider。(AbstractJavaKeyStoreProvider.java:86) 在 org.apache.hadoop.security.alias.LocalJavaKeyStoreProvider。(LocalJavaKeyStoreProvider.java:58) 在 org.apache.hadoop.security.alias.LocalJavaKeyStoreProvider.(LocalJavaKeyStoreProvider.java:50) 在 org.apache.hadoop.security.alias.LocalJavaKeyStoreProvider$Factory.createProvider(LocalJavaKeyStoreProvider.java:177) 在 org.apache.hadoop.security.alias.CredentialProviderFactory.getProviders(CredentialProviderFactory.java:58) 在 org.apache.hadoop.security.alias.CredentialShell$Command.getCredentialProvider(CredentialShell.java:181) 在 org.apache.hadoop.security.alias.CredentialShell$CreateCommand.validate(CredentialShell.java:345) 在 org.apache.hadoop.security.alias.CredentialShell.run(CredentialShell.java:81) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 在 org.apache.hadoop.security.alias.CredentialShell.main(CredentialShell.java:460)

Answer 1

问题是，此属性需要文件名而不是文件路径，然后 Hadoop api 将在 Hadoop 类路径上搜索此名称。由于此文件包含明文，因此另一种方法是
导出 HADOOP_CREDSTORE_PASSWORD=${PASSWORD}