ruby - rubyzip 输出字符串和写入文件的 md5sum 不同

Question

我使用 ruby​​zip-1.2.0 和 ruby​​ 2.2.1 生成一个包含单个文件(在本例中为 python 脚本)的 zip 文件。内容文件没有改变，生成的 zip 字符串的 md5sum 保持不变，但是一旦我写入然后读取 zip 字符串到文件，长度增加并且 md5sum 每次都不同。无论我使用 File.open(zip_file, 'wb') {} 还是 IO.binwrite(zip_file, zip_string)，都会发生这种情况。

更令人兴奋的是，在 OS X 上，zip 字符串和写入的文件大小不同(当然，md5sums 不同)，但在 Ubuntu 14.04 上，大小保持一致且 md5sums 不同。

如果我不间断地多次生成文件，校验和(通常)是相同的；如果我进入休眠状态，它们会有所不同，这让我想知道 ruby​​zip 是否正在向文件写入某种时间戳？

我可能只是遗漏了 ruby​​ 二进制文件处理的一些细微差别。

require 'zip'
require 'digest'

def update_zip_file(source_file)
  zip_file = source_file.sub(/py$/, 'zip')
  new_zip = create_lambda_zip_file(source_file)
  puts "Zip string length: #{new_zip.length}"
  md5_string = Digest::MD5.new
  md5_string.update IO.binread(zip_file)
  puts "Zip string MD5: #{md5_string.hexdigest}"
  File.open(zip_file, 'wb') do |f|
    puts "Updating #{zip_file}"
    f.write new_zip
  end
  puts "New file size: #{File.size(zip_file)}"
  md5_file_new = Digest::MD5.new
  md5_file_new.update IO.binread(zip_file)
  puts "New file MD5: #{md5_file_new.hexdigest}"
end

def create_lambda_zip_file(source_file)
  zip_file = source_file.sub(/py$/, 'zip')
  zip = Zip::OutputStream.write_buffer do |zio|
    zio.put_next_entry(File.basename(source_file))
    zio << File.read(source_file)
  end
  zip.string
end

(1..3).each do
  update_zip_file('test.py')
  sleep 2
end

OS X 上的输出:

Zip string length: 973
Zip string MD5: 2578d03cecf9539b046fb6993a87c6fd
Updating test.zip
New file size: 1019
New file MD5: 03e0aa2d345cac9731d1482d2674fc1e
Zip string length: 973
Zip string MD5: 03e0aa2d345cac9731d1482d2674fc1e
Updating test.zip
New file size: 1019
New file MD5: bb6fca23d13f1e2dfa01f93ba1e2cd16
Zip string length: 973
Zip string MD5: bb6fca23d13f1e2dfa01f93ba1e2cd16
Updating test.zip
New file size: 1019
New file MD5: 3d27653fa1662375de9aa4b6d2a49358

Ubuntu 14.04 上的输出:

Zip string length: 1020
Zip string MD5: 4a6f5c33b420360fed44c83f079202ce
Updating test.zip
New file size: 1020
New file MD5: 0cd8a123fe7f73be0175b02f38615572
Zip string length: 1020
Zip string MD5: 0cd8a123fe7f73be0175b02f38615572
Updating test.zip
New file size: 1020
New file MD5: 0a010e0ae0d75e5cde0c4c4ae098d436
Zip string length: 1020
Zip string MD5: 0a010e0ae0d75e5cde0c4c4ae098d436
Updating test.zip
New file size: 1020
New file MD5: e91ca00a43ccf505039a9d70604e184c

任何解释或解决方法？我想在重写文件之前确保 zip 文件内容不同。

编辑以修复文件 md5sum 并更新输出。

编辑事实上，rubyzip 确实在每个条目中放置了当前时间戳(为什么？)。如果我猴子修补它以便我可以操纵条目属性，则 zip 字符串的 md5sum 将保持不变。

module Zip
  class OutputStream
    attr_accessor :entry_set
  end

  class Entry
    attr_accessor :time
  end
end

...

def create_lambda_zip_file(source_file)
  zip_file = source_file.sub(/py$/, 'zip')
  zip = Zip::OutputStream.write_buffer do |zio|
    zio.put_next_entry(File.basename(source_file))
    zio << File.read(source_file)
    zio.entry_set.each {|e| puts e.time = Zip::DOSTime.at(File.mtime(source_file).to_i)}
  end
  zip.string
end

Answer 1

8caba7d65b81501f3b65eca199c28ace 是 test.zip 的 md5 和:您已经对文件名进行了 md5。

长度上的差异可能是由于 String#length 返回字符串中代码点的数量，而 File.size 正在计算字节数。 String#bytesize 方法应该返回与文件检查相同的结果。

在我的机器(OS X，ruby 2.3.1)上，从 zip 返回的字符串声称具有编码 utf-8，这解释了为什么长度与字节数不同。尽管该字符串实际上不是有效的 UTF8 - 我认为这是一个错误。不同的版本或可能与语言环境相关的环境变量导致您的 Linux 机器不假装 zip 数据是 UTF8

使用 force_encoding 将编码更改为 ASCII-8BIT 可能会有所帮助