ruby - 如何使用 Net::Http 下载包含 UTF-8 字符的文件？

Question

我有一个应用程序，用户可以在其中上传持久保存到 S3 的基于文本的文件(xml、csv、txt)。其中一些文件非常大。需要对这些文件中的数据执行各种操作，因此我不是从 S3 读取它们并偶尔超时，而是将文件下载到本地，然后对它们进行松散操作。

这是我用来从 S3 下载文件的代码。 Upload 是我用来存储这些信息的 AR 模型的名称。此方法是上传模型的实例方法:

def download
  basename = File.basename(self.text_file_name.path)
  filename = Rails.root.join(basename)
  host = MyFitment::Utility.get_host_without_www(self.text_file_name.url)
  Net::HTTP.start(host) do |http|
    f = open(filename)
    begin
      http.request_get(self.text_file_name.url) do |resp|
        resp.read_body do |segment|
          f.write(segment) # Fails when non-ASCII 8-bit characters are included.
        end
      end
    ensure
      f.close()
    end
  end
  filename

end

因此，您会在加载失败的地方看到上面那一行。此代码以某种方式认为所有下载的文件都以 ASCII 8 位编码。我怎样才能:

1) 像那样检查远程文件的编码2)下载并写入成功。

这是当前特定文件发生的错误:

Encoding::UndefinedConversionError: "\x95" from ASCII-8BIT to UTF-8
from /Users/me/code/myapp/app/models/upload.rb:47:in `write'

感谢您提供的任何帮助!

Answer 1

How can I: 1) Check the encoding of a remote file like that.

您可以检查响应的 Content-Type header ，如果存在，可能如下所示:

Content-Type: text/plain; charset=utf-8

如您所见，编码在那里指定。如果没有 Content-Type 头，或者没有指定 charset，或者 charset 指定不正确，那么你就无法知道文本的编码。有些 gem 可以尝试猜测编码(准确度越来越高)，例如rchardet、charlock_holmes，但为了完全准确，您必须在阅读文本之前知道编码。

This code somehow thinks all files that are downloaded are encoded in ASCII 8-bit.

在 ruby​​ 中，ASCII-8BIT 等同于 binary，这意味着 Net::HTTP 库只是给你一个包含一系列单个字节的字符串，它是由您决定如何解释这些字节。

如果你想将这些字节解释为 UTF-8，那么你可以使用 String#force_encoding() 来实现:

text = text.force_encoding("UTF-8")

例如，如果您想对字符串进行一些正则表达式匹配，并且您想要匹配完整字符(可能是多字节)而不是单个字节，您可能想要这样做。

Encoding::UndefinedConversionError: "\x95" from ASCII-8BIT to UTF-8

使用 String#encode('UTF-8') 将 ASCII-8BIT 转换为 UTF-8 不适用于 ascii 码大于 127 的字节:

(0..255).each do |ascii_code|
  str = ascii_code.chr("ASCII-8BIT")
  #puts str.encoding   #=>ASCII-8BIT

  begin
    str.encode("UTF-8")
  rescue Encoding::UndefinedConversionError
    puts "Can't encode char with ascii code #{ascii_code} to UTF-8."
  end

end

--output:--
Can't encode char with ascii code 128 to UTF-8.
Can't encode char with ascii code 129 to UTF-8.
Can't encode char with ascii code 130 to UTF-8.
...
...
Can't encode char with ascii code 253 to UTF-8.
Can't encode char with ascii code 254 to UTF-8.
Can't encode char with ascii code 255 to UTF-8.

Ruby 每次只从 ASCII-8BIT 字符串中读取一个字节，并尝试将字节中的字符转换为 UTF-8。因此，虽然 128 在多字节字符序列的一部分时可能是 UTF-8 中的合法字节，但作为单个字节，128 不是合法的 UTF-8 字符。

至于将字符串写入文件，而不是这样:

f = open(filename)

...如果你想输出 UTF-8 到文件，你会这样写:

f = open(filename, "w:UTF-8")

默认情况下，ruby 使用 Encoding.default_external 的任何值将输出编码到文件中。 default_external 编码是从您的系统环境中提取的，或者您可以明确设置它。