python - 默认的内容类型/字符集是什么？

Question

根据这个答案: urllib2 read to Unicode

我必须获取内容类型才能更改为 Unicode。但是，有些网站没有“字符集”。

例如，this 的 ['content-type']页面是“文本/html”。我无法将其转换为 Unicode。

encoding=urlResponse.headers['content-type'].split('charset=')[-1]
htmlSource = unicode(htmlSource, encoding)
TypeError: 'int' object is not callable

是否有默认的“编码”(当然是英语)...这样如果找不到任何东西，我就可以使用那个？

Answer 1

Is there a default "encoding" (English, of course)...so that if nothing is found, I can just use that?

不，没有。你一定猜到了。

简单方法:尝试解码为 UTF-8。如果它有效，很好，它可能是 UTF-8。如果不是，请为您正在浏览的页面类型选择最可能的编码。对于 cp1252 的英文页面，Windows 西欧编码。 (这类似于 ISO-8859-1；事实上大多数浏览器将使用 cp1252 而不是 iso-8859-1 即使您指定了该字符集，所以值得复制它行为。)

如果您需要猜测其他语言，那就太麻烦了。有一些现有的模块可以帮助您在这些情况下进行猜测。见例如。 chardet .