java - 使用 Java 从 S3 存储桶和 HTTP PUT 文件以模拟实际文件上传的方式读取文件到另一个存储桶的预签名 AWS S3 URL

Question

Java 和 HTTP 请求的新内容。

为什么这个问题不是重复的:我没有使用 AWS SDK 来生成任何预签名的 URL。我从外部 API 获取它。

这是我想要完成的:

第 1 步:读取文件的源 S3 存储桶(目前为 .xlsx)

第 2 步:通过将此文件转换为 InputStreamReader 来解析此文件(我在这里需要帮助)

第 3 步:通过将 InputStreamReader 的内容传输到 OutputStreamWriter，在我已经从外部团队获得的预签名 S3 URL 上执行此文件的 HTTP PUT。该文件必须位于目标 S3 存储桶中，就像通过拖放手动上传文件一样。 (这里也需要帮助)

这是我尝试过的:

第 1 步:读取文件的 S3 存储桶

public class LambdaMain implements RequestHandler<S3Event, String>  {

    @Override
    public String handleRequest(final S3Event event, final Context context) {

        System.out.println("Create object was called on the S3 bucket");
        S3EventNotification.S3EventNotificationRecord record = event.getRecords().get(0);

        String srcBucket = record.getS3().getBucket().getName();
        String srcKey = record.getS3().getObject().getUrlDecodedKey();

        AmazonS3 s3Client = AmazonS3ClientBuilder.standard()
                .withCredentials(DefaultAWSCredentialsProviderChain.getInstance())
                .build();

        S3Object s3Object = s3Client.getObject(new GetObjectRequest(
                srcBucket, srcKey));

        String presignedS3Url = //Assume that I have this by making an external API call
        InputStreamReader inputStreamReader = parseFileFromS3(s3Object); #Step 2
        int responseCode = putContentIntoS3URL(inputStreamReader, presignedS3Url); #Step 3

}

第 2 步:将文件解析为 InputStreamReader 以将其复制到 OutputStreamWriter:

    private InputStreamReader parseFileFromS3(S3Object s3Object) {
        return new InputStreamReader(s3Object.getObjectContent(), StandardCharsets.UTF_8);
    }

第 3 步:通过将内容从 InputStreamReader 复制到 OutputStreamWriter 进行 HTTP PUT 调用:

   private int putContentIntoS3URL(InputStreamReader inputStreamReader, String presignedS3Url) {
        URL url = null;
        try {
            url = new URL(presignedS3Url);
        } catch (MalformedURLException e) {
            e.printStackTrace();
        }
        HttpURLConnection httpCon = null;

        try {
            assert url != null;
            httpCon = (HttpURLConnection) url.openConnection();
        } catch (IOException e) {
            e.printStackTrace();
        }
        httpCon.setDoOutput(true);

        try {
            httpCon.setRequestMethod("PUT");

        } catch (ProtocolException e) {
            e.printStackTrace();
        }

        OutputStreamWriter outputStreamWriter = null;
        try {
            outputStreamWriter = new OutputStreamWriter(
                    httpCon.getOutputStream());
        } catch (IOException e) {
            e.printStackTrace();
        }

        try {
            IOUtils.copy(inputStreamReader, outputStreamWriter); 
        } catch (IOException e) {
            e.printStackTrace();
        }

        try {
            outputStreamWriter.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

        try {
            httpCon.getInputStream();
        } catch (IOException e) {
            e.printStackTrace();
        }

        int responseCode = 0;

        try {
            responseCode = httpCon.getResponseCode();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return responseCode;
    }

中间方法的问题是，当我通过 S3 插入触发器读取 .xlsx 文件并将 PUT 放入 URL 时，当我下载上传的文件时 - 它会以一些乱码的形式下载。

当我尝试读取 .png 文件并 PUT 到 URL 时，当我下载上传的文件时 - 它被下载为带有一些乱码的文本文件(我确实看到了 PNG 这个词虽然它)

感觉我在以下方面犯了错误:

1. 错误地创建了 OutputStreamWriter，因为我不明白如何通过 HTTP 请求发送文件

2. 假设每种文件类型都可以用通用的方式处理。

3. 未在 HTTP 请求中设置 content-type

4. 期望 S3 在 PUT 操作后神奇地理解我的文件类型

我想知道我的上述 4 个假设是否正确。

目的是，我正确地对文件数据执行 PUT，以便它与正确的文件类型/扩展名一起位于 S3 存储桶中。我希望我的努力值得获得一些帮助。我已经对 HTTP PUT 和文件/IO 进行了大量搜索，但我无法针对我的用例将它们链接在一起，因为我先执行文件 I/O，然后执行 HTTP PUT。

更新 1:

我添加了 setRequestProperty("Content-Type", "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet")，但该文件不在 S3 存储桶中文件扩展名。它只是作为一个对象坐在那里。

更新 2:

我认为这也与 setContentDisposition() header 有关，尽管我不确定如何为 Excel 文件设置这些 header 。

更新 3:

这可能只与预签名 S3 URL 本身如何出售给我们有关。如问题中所述，我说过我们从其他团队获得了预签名 S3 URL。这个问题本身有多个部分需要回答。

1. Does the default Presigned S3 URL ALLOW clients to set the content-type and content-disposition in the HTTP header?: 我设置了另一个这里有一个单独的问题，因为它还不清楚:Can a client set file name and extension programmatically when he PUTs file content to a presigned S3 URL that the service vends out?

2. 如果上述问题的答案是 TRUE，那么我们必须研究如何设置文件内容并将其写入 OutputStream

Answer 1

您正在使用 InputStreamReader 和 OutputStreamWriter，它们都是字节流和字符流之间的桥梁。但是，您将这些与字节数据一起使用，这意味着您首先将字节转换为字符，然后再转换回字节。由于您的数据不是字符数据，这种转换可能会解释为什么结果会出现乱码。

我开始尝试摆脱读取器和写入器，而是直接使用 InputStream(您已经从 s3Object.getObjectContent() 获得)和 OutputStream(您从 httpCon.getOutputStream() 获得)。 IOUtils.copy 也应该支持这个。

另请注意，当您构建 InputStreamReader 时，您将 StandardCharsets.UTF_8 设置为要使用的字符集，但当您构建 OutputStreamWriter 时，您没有设置字符集。如果默认字符集不是 UTF-8，这种转换也可能会导致乱码。