java - 如何在 hadoop 配置中正确设置 s3a 配置？

Question

我收到奇怪的错误，例如 - 无法获取 aws 凭据或无法从...加载凭据

有没有办法在 hadoop 配置中明确设置 s3a 凭证？

Answer 1

由于 s3a 是相对较新的实现(并且从 hadoop 2.7 开始可以正常工作)，您需要在 hadoop 配置中设置两组属性 -

    conf.set("fs.s3a.access.key", access_key);
    conf.set("fs.s3a.secret.key", secret_key);
    conf.set("fs.s3a.awsAccessKeyId", access_key);
    conf.set("fs.s3a.awsSecretAccessKey", secret_key);

(conf为hadoop配置)

原因是命名约定在版本之间发生了变化，为了安全起见 - 两者都设置