- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
今年(2023年) 2月的时候做了个适配Amazon S3对象存储接口的需求,由于4月份自学考试临近,一直在备考就拖着没总结记录下,开发联调过程中也出现过一些奇葩的问题,最近人刚从考试缓过来顺手记录一下.
Amazon S3(Simple Storage Service)对象存储出现得比较早且使用简单的RESTful API,于是成为了对象存储服务(Object Storage Service,OSS)业内的标准接口规范.
如下图,我们可以把S3的存储空间想象成无限的,想存储一个任意格式的文件到S3服务中,只需要知道要把它放到哪个桶(Bucket)中,它的名字(Object Id)应该是什么.
按图中的模型,可简单理解为S3是由若干个桶(Bucket)组成,每个桶中包含若干个不同标识的对象(Object),还有就是统一的访问入口(RESTful API),这样基本就足够了.
详细API文档: https://min.io/docs/minio/linux/developers/java/API.html 。
以下代码异常处理做了简化,真实使用时请注意捕获异常做处理.
Maven
<dependency>
<groupId>io.minio</groupId>
<artifactId>minio</artifactId>
<version>8.5.2</version>
</dependency>
Gradle
dependencies {
implementation("io.minio:minio:8.5.2")
}
private static final String HTTP_PROTOCOL = "http";
private MinioClient minioClient;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
try {
// url上无端口号时,识别http为80端口,https为443端口
int port = endpointUrl.getPort() != -1 ? endpointUrl.getPort() : endpointUrl.getDefaultPort();
boolean security = HTTP_PROTOCOL.equals(endpointUrl.getProtocol()) ? false : true;
//@formatter:off
this.minioClient = MinioClient.builder().endpoint(endpointUrl.getHost(), port, security)
.credentials(accessKey, secretKey).build();
//@formatter:on
// 忽略证书校验,防止自签名证书校验失败导致无法建立连接
this.minioClient.ignoreCertCheck();
} catch (Exception e) {
e.printStackTrace();
}
}
public boolean createBucket(String bucket) {
try {
minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean deleteBucket(String bucket) {
try {
minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucket).build());
logger.info("删除桶[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean bucketExists(String bucket) {
try {
return minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
public void upload(String bucket, String objectId, InputStream input) {
try {
//@formatter:off
minioClient.putObject(PutObjectArgs.builder().bucket(bucket).object(objectId)
.stream(input, input.available(), -1)
.build());
//@formatter:on
} catch (Exception e) {
e.printStackTrace();
}
}
提供两个下载方法,一个将输入流返回,另一个用参数输出流写出 。
public InputStream download(String bucket, String objectId) {
try {
return minioClient.getObject(GetObjectArgs.builder().bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream output) {
//@formatter:off
try (InputStream input = minioClient.getObject(
GetObjectArgs.builder().bucket(bucket).object(objectId).build())) {
IOUtils.copyLarge(input, output);
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
}
public boolean deleteObject(String bucket, String objectId) {
//@formatter:off
try {
minioClient.removeObject(RemoveObjectArgs.builder()
.bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
return true;
}
public boolean objectExists(String bucket, String key) {
//@formatter:off
try {
// minio客户端未提供判断对象是否存在的方法,此方法中调用出现异常时说明对象不存在
minioClient.statObject(StatObjectArgs.builder()
.bucket(bucket).object(key).build());
} catch (Exception e) {
return false;
}
//@formatter:on
return true;
}
import java.io.InputStream;
import java.io.OutputStream;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import io.minio.BucketExistsArgs;
import io.minio.GetObjectArgs;
import io.minio.MakeBucketArgs;
import io.minio.MinioClient;
import io.minio.PutObjectArgs;
import io.minio.RemoveBucketArgs;
import io.minio.RemoveObjectArgs;
import io.minio.StatObjectArgs;
public class S3MinioClientDemo {
private static final Logger logger = LoggerFactory.getLogger(S3MinioClientDemo.class);
private static final String HTTP_PROTOCOL = "http";
private MinioClient minioClient;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
try {
// url上无端口号时,识别http为80端口,https为443端口
int port = endpointUrl.getPort() != -1 ? endpointUrl.getPort() : endpointUrl.getDefaultPort();
boolean security = HTTP_PROTOCOL.equals(endpointUrl.getProtocol()) ? false : true;
//@formatter:off
this.minioClient = MinioClient.builder().endpoint(endpointUrl.getHost(), port, security)
.credentials(accessKey, secretKey).build();
//@formatter:on
// 忽略证书校验,防止自签名证书校验失败导致无法建立连接
this.minioClient.ignoreCertCheck();
} catch (Exception e) {
e.printStackTrace();
}
}
public boolean createBucket(String bucket) {
try {
boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
if (found) {
logger.info("桶名[{}]已存在", bucket);
return false;
}
minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
}
return true;
}
public boolean deleteBucket(String bucket) {
try {
minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucket).build());
logger.info("删除桶[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean bucketExists(String bucket) {
try {
return minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
public void upload(String bucket, String objectId, InputStream input) {
try {
//@formatter:off
minioClient.putObject(PutObjectArgs.builder().bucket(bucket).object(objectId)
.stream(input, input.available(), -1)
.build());
//@formatter:on
} catch (Exception e) {
e.printStackTrace();
}
}
public InputStream download(String bucket, String objectId) {
try {
return minioClient.getObject(GetObjectArgs.builder().bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream output) {
//@formatter:off
try (InputStream input = minioClient.getObject(
GetObjectArgs.builder().bucket(bucket).object(objectId).build())) {
IOUtils.copyLarge(input, output);
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
}
public boolean objectExists(String bucket, String objectId) {
//@formatter:off
try {
// minio客户端未提供判断对象是否存在的方法,此方法中调用出现异常时说明对象不存在
minioClient.statObject(StatObjectArgs.builder()
.bucket(bucket).object(objectId).build());
} catch (Exception e) {
return false;
}
//@formatter:on
return true;
}
public boolean deleteObject(String bucket, String objectId) {
//@formatter:off
try {
minioClient.removeObject(RemoveObjectArgs.builder()
.bucket(bucket).object(objectId).build());
} catch (Exception e) {
e.printStackTrace();
}
//@formatter:on
return true;
}
public void close() {
minioClient = null;
}
}
官方API文档: https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html 。
这里由于项目上提供的SDK和文档都是1.x的,这里就暂时只提供1.x的代码 。
Maven
<dependency>
<groupId>com.amazonaws</groupId>
<artifactId>aws-java-sdk-s3</artifactId>
<version>1.11.300</version>
</dependency>
Gradle
dependencies {
implementation 'com.amazonaws:aws-java-sdk-s3:1.11.300'
}
private static final Logger logger = LoggerFactory.getLogger(S3SdkDemo.class);
private AmazonS3 s3client;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
String protocol = endpointUrl.getProtocol();
int port = endpointUrl.getPort() == -1 ? endpointUrl.getDefaultPort() : endpointUrl.getPort();
ClientConfiguration clientConfig = new ClientConfiguration();
clientConfig.setSignerOverride("S3SignerType");
clientConfig.setProtocol(Protocol.valueOf(protocol.toUpperCase()));
// 禁用证书检查,避免https自签证书校验失败
System.setProperty("com.amazonaws.sdk.disableCertChecking", "true");
// 屏蔽 AWS 的 MD5 校验,避免校验导致的下载抛出异常问题
System.setProperty("com.amazonaws.services.s3.disableGetObjectMD5Validation", "true");
AWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, secretKey);
// 创建 S3Client 实例
AmazonS3 s3client = new AmazonS3Client(awsCredentials, clientConfig);
s3client.setEndpoint(endpointUrl.getHost() + ":" + port);
s3client.setS3ClientOptions(S3ClientOptions.builder().setPathStyleAccess(true).build());
this.s3client = s3client;
}
public boolean createBucket(String bucket) {
String bucketName = parseBucketName(bucket);
try {
if (s3client.doesBucketExist(bucketName)) {
logger.warn("bucket[{}]已存在", bucketName);
return false;
}
s3client.createBucket(bucketName);
} catch (Exception e) {
e.printStackTrace();
}
return true;
}
public boolean deleteBucket(String bucket) {
try {
s3client.deleteBucket(bucket);
logger.info("删除bucket[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean bucketExists(String bucket) {
try {
return s3client.doesBucketExist(bucket);
} catch (Exception e) {
e.printStackTrace();
}
return false;
}
public void upload(String bucket, String objectId, InputStream input) {
try {
// 创建文件上传的元数据
ObjectMetadata meta = new ObjectMetadata();
// 设置文件上传长度
meta.setContentLength(input.available());
// 上传
s3client.putObject(bucket, objectId, input, meta);
} catch (Exception e) {
e.printStackTrace();
}
}
public InputStream download(String bucket, String objectId) {
try {
S3Object o = s3client.getObject(bucket, objectId);
return o.getObjectContent();
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream out) {
S3Object o = s3client.getObject(bucket, objectId);
try (InputStream in = o.getObjectContent()) {
IOUtils.copyLarge(in, out);
} catch (Exception e) {
e.printStackTrace();
}
}
public boolean deleteObject(String bucket, String objectId) {
try {
s3client.deleteObject(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean existObject(String bucket, String objectId) {
try {
return s3client.doesObjectExist(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
import java.io.InputStream;
import java.io.OutputStream;
import java.net.MalformedURLException;
import java.net.URL;
import org.apache.tomcat.util.http.fileupload.IOUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.amazonaws.ClientConfiguration;
import com.amazonaws.Protocol;
import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.BasicAWSCredentials;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3Client;
import com.amazonaws.services.s3.S3ClientOptions;
import com.amazonaws.services.s3.model.ObjectMetadata;
import com.amazonaws.services.s3.model.S3Object;
/**
* S3对象存储官方SDK实现
*
* @author ZhangChenguang
* @date 2023年2月2日
*/
@SuppressWarnings("deprecation")
public class S3SdkDemo {
private static final Logger logger = LoggerFactory.getLogger(S3SdkDemo.class);
private AmazonS3 s3client;
private String endpoint = "http://192.168.0.8:9200";
private String accessKey = "testKey";
private String secretKey = "testSecretKey";
public void init() throws MalformedURLException {
URL endpointUrl = new URL(endpoint);
String protocol = endpointUrl.getProtocol();
int port = endpointUrl.getPort() == -1 ? endpointUrl.getDefaultPort() : endpointUrl.getPort();
ClientConfiguration clientConfig = new ClientConfiguration();
clientConfig.setSignerOverride("S3SignerType");
clientConfig.setProtocol(Protocol.valueOf(protocol.toUpperCase()));
// 禁用证书检查,避免https自签证书校验失败
System.setProperty("com.amazonaws.sdk.disableCertChecking", "true");
// 屏蔽 AWS 的 MD5 校验,避免校验导致的下载抛出异常问题
System.setProperty("com.amazonaws.services.s3.disableGetObjectMD5Validation", "true");
AWSCredentials awsCredentials = new BasicAWSCredentials(accessKey, secretKey);
// 创建 S3Client 实例
AmazonS3 s3client = new AmazonS3Client(awsCredentials, clientConfig);
s3client.setEndpoint(endpointUrl.getHost() + ":" + port);
s3client.setS3ClientOptions(S3ClientOptions.builder().setPathStyleAccess(true).build());
this.s3client = s3client;
}
public boolean createBucket(String bucket) {
try {
s3client.createBucket(bucket);
} catch (Exception e) {
e.printStackTrace();
}
return true;
}
public boolean deleteBucket(String bucket) {
try {
s3client.deleteBucket(bucket);
logger.info("删除bucket[{}]成功", bucket);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public boolean bucketExists(String bucket) {
try {
return s3client.doesBucketExist(bucket);
} catch (Exception e) {
e.printStackTrace();
}
return false;
}
public void upload(String bucket, String objectId, InputStream input) {
try {
// 创建文件上传的元数据
ObjectMetadata meta = new ObjectMetadata();
// 设置文件上传长度
meta.setContentLength(input.available());
// 上传
s3client.putObject(bucket, objectId, input, meta);
} catch (Exception e) {
e.printStackTrace();
}
}
public InputStream download(String bucket, String objectId) {
try {
S3Object o = s3client.getObject(bucket, objectId);
return o.getObjectContent();
} catch (Exception e) {
e.printStackTrace();
}
return null;
}
public void download(String bucket, String objectId, OutputStream out) {
S3Object o = s3client.getObject(bucket, objectId);
try (InputStream in = o.getObjectContent()) {
IOUtils.copyLarge(in, out);
} catch (Exception e) {
e.printStackTrace();
}
}
public boolean existObject(String bucket, String objectId) {
try {
return s3client.doesObjectExist(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
}
public boolean deleteObject(String bucket, String objectId) {
try {
s3client.deleteObject(bucket, objectId);
} catch (Exception e) {
e.printStackTrace();
return false;
}
return true;
}
public void close() {
s3client = null;
}
}
1、bucket名称必须是小写,不支持下划线 。
2、minio客户端下载非官方S3存储的文件时,如果响应头的Content-Length与实际文件大小不符,会导致minio客户端包装的okhttp3报错 。
报错信息:
Caused by: java.net.ProtocolException: unexpected end of stream
at okhttp3.internal.http1.Http1ExchangeCodec$FixedLengthSource.read(Http1ExchangeCodec.java:430) ~[okhttp-3.14.9.jar:?]
at okhttp3.internal.connection.Exchange$ResponseBodySource.read(Exchange.java:286) ~[okhttp-3.14.9.jar:?]
at okio.RealBufferedSource$1.read(RealBufferedSource.java:447) ~[okio-1.17.2.jar:?]
at com.jiuqi.nr.file.utils.FileUtils.writeInput2Output(FileUtils.java:83) ~[nr.file-2.5.7.jar:?]
at com.jiuqi.nr.file.impl.FileAreaServiceImpl.download(FileAreaServiceImpl.java:395) ~[nr.file-2.5.7.jar:?]
... 122 more
抓包发现问题的图:
最终换成了S3官方SDK可用了.
PS:客户现场部署的S3是浪潮公司提供的,如果现场遇到这个情况,就不要固执去找对方对线了,完全没用。.
S3存储的基本操作就记录到这里了,由于没有S3存储就没尝试官方SDK的V2版本,由于这些代码是总结时从业务代码里抽取出来的,可能会有点问题,但大体思路已经有了.
希望对读者有所用处,觉得写得不错和有帮到你,欢迎点个赞,您的支持就是我的鼓励! 。
最后此篇关于AmazonS3对象存储JavaAPI操作记录(Minio与S3SDK两种实现)的文章就讲到这里了,如果你想了解更多关于AmazonS3对象存储JavaAPI操作记录(Minio与S3SDK两种实现)的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我想知道 Amazon CloudSearch 和 Kendra 之间的主要区别是什么?为什么同一家公司的产品有两种不同的工具相互竞争?两者看起来都一样,我不确定功能有何不同。它是如何相互区分的。 A
我在一家小型电子商务网站工作,我们希望迁移到所有 Amazon 托管服务,但我不确定 RDS 和 SimpleDB 的确切区别。 RDS可以用MySQL,SimpleDB不行吗? 最佳答案 RDS 基
关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗?更新问题,以便可以通过 editing this post 用事实和引文回答问题. 7年前关闭。 Improve t
任何人都知道如何 ELB如果我注册多个 EC2 将分发请求不同大小的实例。说一 m1.medium , 一 m1.large和一个 m1.xlarge . 如果我注册EC2会不会不一样相同大小的实例?
Amazon EventBridge 使开发人员能够将第 3 方事件驱动的应用程序与 Amazon 服务连接起来。 Amazon AppFlow 还提供与第 3 方应用程序的事件驱动集成。 对于事件驱
我想通过电子邮件或短信向特定用户(只有一个)发送验证码。我已经通过 Amazon SES 成功地做到了。但我没有尝试通过Amazon SMS然而。我发现自己陷入了调查的兔子洞AWS Pinpoint
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 6年前关闭。 Improve thi
我想使用 Amazon Glacier 镜像 S3 存储桶。 Glacier FAQ状态: Amazon S3 now provides a new storage option that enabl
我正在尝试在 Amazon RDS 上托管数据库,而数据库将存储信息的实际内容(视频)将托管在 Amazon S3 上。我对这个过程有一些疑问,希望有人能帮助我。 Amazon RDS 上托管的数
我刚刚开始使用 AWS EC2。我知道 EC2 就像一台远程计算机,我几乎可以在其中完成我想做的所有事情。后来我知道了ECS。我知道它使用 Docker,但我对这两者之间的关系感到困惑。 ECS 只是
什么时候我会使用 SNS 和 SQS,为什么它们总是耦合在一起? 最佳答案 SNS是一个分布式发布-订阅系统。当发布者将消息发送到 SNS 时,消息就会被推送给订阅者。 SQS是分布式排队系统。消息不
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a software
已关闭。这个问题是 off-topic 。目前不接受答案。 想要改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 已关闭10 年前。 Improve th
我计划在 amazon EC2 中拥有一个多服务器架构,其中服务器需要相互通信。这些服务器需要位于不同的亚马逊地区(不同的数据中心)。我可以只使用亚马逊ec2的内部网络吗?有哪些安全问题?我是否应该在
我在帐户 B 中有 S3 存储桶“跨存储桶”。现在我希望帐户 A 中存在的 EC2 访问帐户 B 中的此存储桶“跨存储桶”。 我需要使用 IAM 角色来实现此目的,因为我们不允许创建用户。 我已使用以
我有使用 Backbone.js 构建的单页应用程序。 我在 Amazon S3 上托管应用程序(应用程序仅包含静态文件)。 我使用 CloudFront 作为 Bucket CDN。 应用程序通过
我可以连接到 ElastiCache来自 EC2 实例 的 VPC 中的 Redis 实例。但我想知道是否有办法连接到 Amazon EC2 实例之外的 ElastiCache Redis 节点,例如
我有几个微实例可以正常工作数周。两者都在运行WordPress博客。在过去的24小时内,其中一个已经停止。即使重新启动,我也无法插入。另一个实例工作正常。 ssh: connect to host e
我尝试了以下方法: SELECT * FROM generate_series(2,4); generate_series ----------------- 2
如何使用PHP API将包含子文件夹和文件的文件夹复制/复制到S3存储桶中的另一个目录中? $s3->copy_object仅复制文件夹,而不复制其中的文件和子文件夹。 我是否必须使用$s3->lis
我是一名优秀的程序员,十分优秀!