ruby - Errno::EINVAL 无效参数@io_fread

Question

我正在尝试下载一个 ~2GB 的文件并将其写入本地文件，但我遇到了这个问题:



这是适用的代码:

  File.open(local_file, "wb") do |tempfile|
    puts "Downloading the backup..."

    pbar = nil
    open(backup_url,
         :read_timeout => nil,
         :content_length_proc => lambda do |content_length|
           if content_length&.positive?
             pbar = ProgressBar.create(:total => content_length)
           end
         end,
         :progress_proc => ->(size) { pbar&.progress = size }) do |retrieved|
          begin
            tempfile.binmode
            tempfile << retrieved.read
            tempfile.close
          rescue Exception => e
            binding.pry
          end
    end

Answer 1

分块读取您的文件。
导致问题的线路在这里:tempfile << retrieved.read这会将整个内容读入内存，然后再将其写入 tempfile .如果内容很小，这没什么大不了的，但如果内容很大(多大取决于系统、配置、操作系统和可用资源)，这可能会导致 Errno::EINVAL错误，如 Invalid argument @ io_fread和 Invalid argument @ io_write .
要解决此问题，请分块读取内容并将每个块写入 tempfile .像这样的东西:

tempfile.write( retrieved.read( 1024 ) ) until retrieved.eof?

这将获得 1024 的块字节并将每个块写入 tempfile直到 retrieved到达文件末尾(即 .eof? )。
如 retrieved.read不带大小参数，您可能需要转换 retrieved成 StringIO ， 像这样:

retrievedIO = StringIO.new( retrieved )
tempfile.write( retrievedIO.read( 1024 ) ) until retrievedIO.eof?