hadoop - 使用 Amazon S3 运行 Apache Flink

Question

有人成功使用 Apache Flink 0.9 处理存储在 AWS S3 上的数据吗？我发现他们使用的是自己的 S3FileSystem，而不是 Hadoop 中的一个……而且它看起来不起作用。我把下面的路径 s3://bucket.s3.amazonaws.com/folder它因以下异常而失败:

java.io.IOException: Cannot establish connection to Amazon S3: com.amazonaws.services.s3.model.AmazonS3Exception: The request signature we calculated does not match the signature you provided. Check your key and signing method. (Service: Amazon S3; Status Code: 403;

Answer 1

2016 年 5 月更新:Flink 文档现在在 how to use Flink with AWS 上有一个页面

---

这个问题也在 Flink 用户邮件列表上被问到，我已经在那里回答了:http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Processing-S3-data-with-Apache-Flink-td3046.html

tl;博士:

Flink程序

public class S3FileSystem {
   public static void main(String[] args) throws Exception {
      ExecutionEnvironment ee = ExecutionEnvironment.createLocalEnvironment();
      DataSet<String> myLines = ee.readTextFile("s3n://my-bucket-name/some-test-file.xml");
      myLines.print();
   }
}

将以下内容添加到 core-site.xml 并使其可用于 Flink:

<property>
    <name>fs.s3n.awsAccessKeyId</name>
    <value>putKeyHere</value>
</property>

<property>
    <name>fs.s3n.awsSecretAccessKey</name>
    <value>putSecretHere</value>
</property>
<property>
    <name>fs.s3n.impl</name>
    <value>org.apache.hadoop.fs.s3native.NativeS3FileSystem</value>
</property>