hadoop - 如何从本地 Hadoop 2.6 安装访问 S3/S3n？

Question

我正在尝试在我的本地计算机上重现 Amazon EMR 集群。为此，我安装了 latest stable version of Hadoop as of now - 2.6.0 .现在我想访问一个 S3 存储桶，就像我在 EMR 集群中所做的那样。

我在 core-site.xml 中添加了 aws 凭证:

<property>
  <name>fs.s3.awsAccessKeyId</name>
  <value>some id</value>
</property>

<property>
  <name>fs.s3n.awsAccessKeyId</name>
  <value>some id</value>
</property>

<property>
  <name>fs.s3.awsSecretAccessKey</name>
  <value>some key</value>
</property>

<property>
  <name>fs.s3n.awsSecretAccessKey</name>
  <value>some key</value>
</property>

注意:由于键上有一些斜杠，我用 %2F 对它们进行了转义

如果我尝试列出存储桶的内容:

hadoop fs -ls s3://some-url/bucket/

我收到这个错误:

ls: 方案没有文件系统:s3

我重新编辑了core-site.xml，添加了fs的相关信息:

<property>
  <name>fs.s3.impl</name>
  <value>org.apache.hadoop.fs.s3.S3FileSystem</value>
</property>

<property>
  <name>fs.s3n.impl</name>
  <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>

这次我得到了一个不同的错误:

-ls: Fatal internal error
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3.S3FileSystem not found
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
        at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2578)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)

不知何故，我怀疑 Yarn 发行版没有必要的 jar 来读取 S3，但我不知道从哪里获得这些。在此方向上的任何指示将不胜感激。

Answer 1

由于某些原因，包含 NativeS3FileSystem 实现的 jar hadoop-aws-[version].jar 不存在于 classpath 在 2.6 和 2.7 版本中默认使用 hadoop。因此，尝试通过在位于 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 的 hadoop-env.sh 中添加以下行来将其添加到类路径中:

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/share/hadoop/tools/lib/*

Assuming you are using Apache Hadoop 2.6 or 2.7

顺便说一句，您可以使用以下方法检查 Hadoop 的类路径:

bin/hadoop classpath