java - 页面上有两个字符集标签，该采用哪个？

Question

我正在爬行页面以获取信息，并且在 Groovy 中解析页面时遇到了许多问题。我已经使用 juniversal chardet 制作了大部分时间都有效的半解决方案，只需扫描页面头部的标签，但有时在一页上找到其中两个标签，例如:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
...
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" />

是否有使用哪个标准(第一个，最后一个，两者......？)或一些更简单的方法来做到这一点？谢谢。

Answer 1

我会启发式地这样做:

• 一切实际上都是 ASCII 吗？如果是这样，那么使用哪一个都没有关系。
• 它符合有效的 UTF-8 吗？如果是这样，我会用它。
• 否则，请使用 ISO-8859-1。

您可能还想查看从 Web 服务器返回的内容类型 header ...

从根本上来说，该页面已损坏，但上面应该给出合理的“最佳猜测”。