- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在构建一个应用程序后端。客户端将文件作为请求正文发布到服务器,然后服务器将文件上传到 AWS S3。服务器使用 NodeJS 和 koa Web 框架。
如果我使用raw-body
来获取帖子正文进行缓冲,当文件很大时,缓冲区也很大,并导致内存不足错误。
如果我直接将 ctx.req(IncomingMessage 对象)传递给 S3.putObject,AWS SDK 会抛出错误,提示 无法确定 [object Object] 的长度
,看起来 AWS SDK 尝试获取流的长度,然后开始分段上传。
AWS SDK 版本 2.383.0(当前最新)
NodeJS 10.14.2
此时,我编写了一个函数,从 IncomingMessage 作为流读取,等待数据事件填满一个大缓冲区(16MB),然后将分段上传到 S3,这很好地解决了问题,但我仍在寻找更好的解决方案。
最佳答案
经过几个月的运行,我认为我的最终解决方案是稳定可靠的。
主要概念是从 IncomingMessage 流中接收数据并将其存储到缓冲区中,当缓冲区达到一定大小后,将当前部分放入 S3,然后继续读取流直到结束。
const uploaderLogger = Log4js.getLogger('customUploader');
function customMultiPartUpload(s3, bucket, key, incomingMessage, partSizeInByte) {
return new Promise((resolve) => {
partSizeInByte = partSizeInByte || uploadBufferMB * 1024 * 1024;
uploaderLogger.debug(`part size is ${partSizeInByte}`);
let uploadId = null;
let partNumber = 0;
let parts = [];
let fileSize = 0;
let reserveBuffer = Buffer.alloc(0);
const sendBuffer = Buffer.alloc(partSizeInByte);
const md5Hash = Crypto.createHash('md5');
const doUpload = async (uploadBuffer) => {
if (!uploadId) {
uploaderLogger.debug('multipart upload not initialized');
const createData = await s3.createMultipartUpload({
Bucket: bucket,
Key: key
}).promise();
uploadId = createData.UploadId;
uploaderLogger.debug(`uploadId ${uploadId}`);
partNumber = 0;
}
fileSize += uploadBuffer.length;
uploaderLogger.debug(`buffer length ${uploadBuffer.length}, total ${fileSize}`);
partNumber += 1;
uploaderLogger.debug(`part number ${partNumber}`);
md5Hash.update(uploadBuffer);
const partData = await s3.uploadPart({
Bucket: bucket,
Key: key,
PartNumber: partNumber,
UploadId: uploadId,
Body: uploadBuffer
}).promise();
parts.push({
PartNumber: partNumber,
ETag: partData.ETag
});
uploaderLogger.debug(`etag ${partData.ETag}`);
};
incomingMessage.on('data', async (chunkBuffer) => {
incomingMessage.pause();
reserveBuffer = Buffer.concat([ reserveBuffer, chunkBuffer ]);
if (reserveBuffer.length > partSizeInByte) {
do {
reserveBuffer.copy(sendBuffer, 0, 0, partSizeInByte);
reserveBuffer = reserveBuffer.slice(partSizeInByte);
await doUpload(sendBuffer);
} while (reserveBuffer.length > partSizeInByte);
}
incomingMessage.resume();
});
incomingMessage.on('end', async () => {
uploaderLogger.debug('stream end');
if (reserveBuffer.length > 0) {
await doUpload(reserveBuffer);
}
if (uploadId) {
uploaderLogger.debug('uploadId not null');
await s3.completeMultipartUpload({
Bucket: bucket,
Key: key,
UploadId: uploadId,
MultipartUpload: {
Parts: parts
}
}).promise();
uploaderLogger.debug('multipart upload complete');
}
const hash = md5Hash.digest('hex');
resolve({
size: fileSize,
hash: hash
});
uploaderLogger.debug(`return file size ${fileSize}, hash ${hash}`);
});
});
}
调整 partSizeInByte
以适应您的服务器内存使用情况,太大的部件大小可能会在服务器处理大量请求时导致 OOM,太小的部件大小可能会小于 S3 部件限制。
关于javascript - 将大型 koa 请求正文上传到 AWS S3 的正确方法是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54088207/
这个问题在这里已经有了答案: Why don't Java's +=, -=, *=, /= compound assignment operators require casting? (11 个
我搜索了很多,但没有一个链接能帮助我解决这个问题。我得到了 ORA-21500: internal error code, arguments: [%s], [%s], [%s], [%s], [%s
我正在做 RegexOne 正则表达式教程,它有一个 question关于编写正则表达式以删除不必要的空格。 教程中提供的解决方案是 We can just skip all the starting
([\s\S]+|\s?) 中 |\s? 的目的或作用是什么?如果没有它,表达式会不会与 ([\s\S]+) 相同? 最佳答案 这不是完全相同的。 ([\s\S]+|\s?) 会匹配空字符串,而 ([
这个正则表达式有一组还是两组? 我正在尝试使用第二组访问 bookTitle 但出现错误: Pattern pattern = Pattern.compile("^\\s*(.*?)\\s+-\\s+
在 C 中给定一个字符串指针 s,下面的迭代会做什么?即它以什么方式遍历字符串? for (++s ; *s; ++s); 最佳答案 for (++s ; *s;++s) 表示 将指针 s 递增到字符
我正在用一个 node.js 应用程序解析一个大列表并有这段代码 sizeCode = dbfr.CN_DESC.split('\s+-\s*|\s*-\s+') 这似乎不起作用,因为它返回了 [ '
我正在编写一个简单的字符串连接程序。 该程序按照我发布的方式运行。但是,我首先使用以下代码编写它来查找字符串的结尾: while (*s++) ; 但是,这个方法并没有奏效。我传递给它的字符串
这个问题已经有答案了: What does (?和aramchand来自Mohandas Karamchand G 因此,在使用这些匹配来分割字符串后,您最终会得到 {"M", "K", "G"} 注
我正在尝试转换 Map到 List使用 lambda。 本质上,我想将键和值与 '=' 连接起来之间。这看起来微不足道,但我找不到如何去做。 例如 Map map = new HashMap<>();
我正在经历 K & R,并且在递增指针时遇到困难。练习 5.3(第 107 页)要求您使用指针编写一个 strcat 函数。 在伪代码中,该函数执行以下操作: 将 2 个字符串作为输入。 找到字符串
在下面的代码中,pS 和 s.pS 在最后一行是否保证相等?也就是说,在语句S s = S();中,是否可以确定不会构造一个临时的S? #include using namespace std; s
演示示例代码: public void ReverseString(char[] s) { for(int i = 0, j = s.Length-1; i < j; i++, j--){
我一直在寻找类似于 .NET examples 中的示例的 PowerShell 脚本.取一个 New-TimeSpan 并显示为 1 天 2 小时 3 分钟 4 秒。排除其零的地方,在需要的地方添加
def func(s): s = s + " is corrected" return s string_list = ["She", "He"] for s in string_li
我是 python 的新手。当我在互联网上搜索 lambda 时。我在 lambda_functions 中找到了这个声明. processFunc = collapse and (lambda s:
我最近开始学习正则表达式,并试图为上面的问题写一个正则表达式。如果限制只放在一个字母上(例如不超过 2 个“b”),这并不困难。 那么答案就是:a* c*(b|ε)a* c*(b|ε)a* c* 但是
当我运行 npm install 时出现以下错误,但我无法修复它。 我试过:npm install -g windows-build-tools 也没有修复这个错误 ERR! configure
有很多有趣的haskell网上可以找到片段。 This post可以在 this (awesome) Stack Overflow question 下找到. The author写道: discou
我知道以下三行代码旨在将字符串提取到$ value中并将其存储在$ header中。但是我不知道$value =~ s/^\s+//;和$value =~ s/\s+$//;之间有什么区别。 $val
我是一名优秀的程序员,十分优秀!