ruby-on-rails - 如何检查字符是否为utf-8

Question

如何通过ruby|ror查看字符集是否为utf-8编码？

Answer 1

检查 UTF-8 有效性

对于大多数多字节编码，可以通过编程方式检测无效字节序列。由于 Ruby 默认将所有字符串视为 UTF-8，您可以检查字符串是否以有效的 UTF-8 格式给出:

# encoding: UTF-8
# -------------------------------------------
str = "Partly valid\xE4 UTF-8 encoding: äöüß"

str.valid_encoding?
   # => false

str.scrub('').valid_encoding?
   # => true

转换编码

此外，如果字符串不是有效的 UTF-8 编码，但您知道实际的字符编码，则可以将字符串转换为 UTF-8 编码。

例子
有时，您最终会遇到这样一种情况，您知道输入文件的编码是 UTF-8 或 CP1252(又名 Windows-1252 ).
检查它是哪种编码并转换为 UTF-8(如果需要):

# encoding: UTF-8
# ------------------------------------------------------
test = "String in CP1252 encoding: \xE4\xF6\xFC\xDF"
File.open( 'input_file', 'w' ) {|f| f.write(test)}

str  = File.read( 'input_file' )

unless str.valid_encoding?
  str.encode!( 'UTF-8', 'CP1252', invalid: :replace, undef: :replace, replace: '?' )
end #unless
   # => "String CP1252 encoding: äöüß"

=======
注意事项

• 可以通过编程方式检测大多数多字节编码，如 UTF-8(在 Ruby 中，see: #valid_encoding?)，并且具有相当高的可靠性。仅 16 个字节后，随机字节序列为有效 UTF-8 的概率 is only 0.01% . (将此与依赖 UTF-8 BOM 进行比较)

• 但是，以编程方式检测单字节编码(如 CP1252 或 ISO-8859-1)的有效性并不容易。因此，上面的代码片段不能反过来工作，即检测字符串是否是有效的 CP1252 编码。

• 尽管 UTF-8 作为网络默认编码越来越流行，CP1252 和其他 Latin1 风格在西方国家仍然非常流行，尤其是在北美。请注意，有几种单字节编码非常相似，但与 CP1252(又名 Windows-1252)略有不同。示例:ISO-8859-1、ISO-8859-15