amazon-web-services - 设置 AWS 凭证 - Cloudera Quickstart Docker Container

Question

我正在尝试使用 Cloudera 的 Quickstart docker 容器来测试简单的 Hadoop/Hive 作业。我希望能够在 S3 中的数据上运行作业，但到目前为止我遇到了问题。

我已将以下属性添加到 core-site.xml、hive-site.xml、hdfs-site.xml。

  <property>
    <name>fs.s3.awsAccessKeyId</name>
    <value>XXXXXX</value>
  </property>

  <property>
    <name>fs.s3.awsSecretAccessKey</name>
    <value>XXXXXX</value>
  </property>

无论如何，在 Hive 中尝试创建指向 S3 位置的外部表时，我收到错误:

FAILED: SemanticException java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3 URL, or by setting the fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively).

Answer 1

我希望你现在已经解决了这个问题，但如果有人要引用此链接，它可能会有用

在所有 xml 文件中添加 Accesskey 和 secretAccesskey 之后，我们需要确保查询中给出的 s3 位置应该是“s3a://”，我们大多数人将位置设置为“s3://"