gpt4 book ai didi

java - 如何从 EMR 中的 s3 读取文件?

转载 作者:可可西里 更新时间:2023-11-01 15:02:34 25 4
gpt4 key购买 nike

我想在我的 EMR Hadoop 作业中从 S3 读取一个文件。我正在使用自定义 JAR 选项。

我尝试了两种解决方案:

  • org.apache.hadoop.fs.S3FileSystem:抛出一个 NullPointerException
  • com.amazonaws.services.s3.AmazonS3Client:抛出异常,提示“拒绝访问”。

我没能理解的是我是从控制台开始工作的,所以显然我应该有必要的权限。但是,映射器可用的环境变量 (System.getenv()) 中缺少 AWS_*_KEY 键。

我确定我做错了什么,只是不确定是什么。

最佳答案

可能有点晚了,但是...为 AmazonS3Client 使用 InstanceProfileCredentialsProvider

关于java - 如何从 EMR 中的 s3 读取文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24184746/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com