golang HTML字符集解码

Question

我正在尝试解码 不是 utf-8 编码的 HTML 页面。

<meta http-equiv="Content-Type" content="text/html; charset=gb2312">

有没有图书馆可以做到这一点？我在网上找不到。

P.S 当然，我可以使用 goquery 和 iconv-go 提取字符集并解码 HTML 页面，但我不想重新发明轮子。

Answer 1

Golang官方提供扩展包:charset和 encoding .

下面的代码确保文档可以被 HTML 包正确解析:

func detectContentCharset(body io.Reader) string {
    r := bufio.NewReader(body)
    if data, err := r.Peek(1024); err == nil {
        if _, name, ok := charset.DetermineEncoding(data, ""); ok {
            return name
        }
    }
    return "utf-8"
}

// Decode parses the HTML body on the specified encoding and
// returns the HTML Document.
func Decode(body io.Reader, charset string) (interface{}, error) {
    if charset == "" {
        charset = detectContentCharset(body)
    }
    e, err := htmlindex.Get(charset)
    if err != nil {
        return nil, err
    }

    if name, _ := htmlindex.Name(e); name != "utf-8" {
        body = e.NewDecoder().Reader(body)
    }

    node, err := html.Parse(body)
    if err != nil {
        return nil, err
    }
    return node, nil
}