使用 UTF-8 数据识别字符串的 JAVA 代码

Question

我正在尝试标准化一组数据。有些名称是 UTF-8 编码的，有些则不是。我在 JAVA 中需要做的是检测名称是否是 UTF 编码的或没有使用某种形式的条件逻辑，以便我可以正确翻译每一行。

String s1 = "José Flores";
String s1 = "José Flores";

IF [condition] (identify UTF-8)
    byte[] utf8Bytes = s1.getBytes("ISO-8859-1");
    String s2 = new String(utf8Bytes,"UTF-8");
ELSE
    String s2 = s1;

Answer 1

在juniversalchardet的帮助下，就可以得到编码，然后进行条件运算。这可以帮助您获取编码类型。

public static String guessEncoding(byte[] bytes) {
String DEFAULT_ENCODING = "UTF-8";
org.mozilla.universalchardet.UniversalDetector detector =
    new org.mozilla.universalchardet.UniversalDetector(null);
detector.handleData(bytes, 0, bytes.length);
detector.dataEnd();
String encoding = detector.getDetectedCharset();
detector.reset();
if (encoding == null) {
    encoding = DEFAULT_ENCODING;
  }
 return encoding;
}

这需要 juniversalchardet-1.0.3.jar，另外 here有一些信息