ruby - 使用 ruby​​ (aws :s3) - connection reset by peer on UBUNTU) 将大文件上传到 S3

Question

我正在尝试使用 ruby​​ 在 S3 上存储一些大文件 aws:s3使用:

S3Object.store("video.mp4", open(file), 'bucket', :access => :public_read)

对于 100 MB 左右的文件，一切都很好，但对于超过 200 MB 的文件，我在日志中收到“连接由对等方重置”错误。

有人遇到过这种怪事吗？从网络上看，这似乎是 large 的问题，但我还没有找到明确的解决方案。

我正在使用 Ubuntu。

编辑:

这似乎是建议的 Linux 问题 here .

Answer 1

不知道原始问题可能出在哪里，但作为解决方法，您可以尝试分段上传。

filename = "video.mp4"
min_chunk_size = 5 * 1024 * 1024  # S3 minimum chunk size (5Mb)
    @object.multipart_upload do |upload|
      io = File.open(filename)

      parts = []

      bufsize = (io.size > 2 * min_chunk_size) ? min_chunk_size : io.size
      while buf = io.read(bufsize)
        md5 = Digest::MD5.base64digest(buf)

        part = upload.add_part(buf)
        parts << part

        if (io.size - (io.pos + bufsize)) < bufsize
          bufsize = (io.size - io.pos) if (io.size - io.pos) > 0
        end
      end

      upload.complete(parts)
    end

S3 分段上传有点棘手，因为每个分段大小必须超过 5Mb，但上面的代码已经解决了这一点。