gpt4 book ai didi

apache-spark - 在 V4 s3 存储桶上使用 s3a 协议(protocol)时出现错误请求

转载 作者:行者123 更新时间:2023-12-02 19:18:43 24 4
gpt4 key购买 nike

我正在尝试从法兰克福地区的 s3 存储桶下载文件。

原来在spark 2.2.1用hadoop 2.7.5遇到这个问题。

我收到了这条消息:

com.amazonaws.services.s3.model.AmazonS3Exception: Status Code: 400, AWS Service: Amazon S3, AWS Request ID: F6EB301E99C9BC7A, AWS Error Code: null, AWS Error Message: Bad Request, S3 Extended Request ID:



环境
       sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.eu-central-1.amazonaws.com")

没有改变一件事。

运行 ./hadoop-2.7.5/bin/hadoop fs -ls s3a://frankfurt-bucket-name返回完全相同的错误。

这是我的 core-site.xml
<configuration>
<property>
<name>fs.s3a.endpoint</name>
<value>s3.eu-central-1.amazonaws.com</value>
</property>
</configuration>

如何让 hadoop 使用 V4 签名?

最佳答案

升级 hadoop 和 spark 版本解决了这个问题。

关于apache-spark - 在 V4 s3 存储桶上使用 s3a 协议(protocol)时出现错误请求,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49516620/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com