个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
24
4
大家好，
我刚开始使用 Python 从 Web 获取数据。我想把这个页面的源代码放在一个字符串中: https://projects.fivethirtyeight.com/2018-nba-predictions/
以下代码适用于其他页面(例如 https://www.basketball-reference.com/boxscores/201712090ATL.html ):
import urllib.request
file = urllib.request.urlopen(webAddress)
data = file.read()
file.close()
dataString = data.decode(encoding='UTF-8')
我希望 dataString 是一个 HTML 字符串(请参阅下文了解我在这种特定情况下的期望)
<!DOCTYPE html><html lang="en"><head><meta property="article:modified_time" etc etc
相反，对于 538 网站，我收到此错误:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
我的研究表明问题是我的文件实际上不是使用 UTF-8 编码的，但是页面的字符集和 beautiful-soup 的 UnicodeDammit() 都声称它是 UTF-8(第二个可能是因为第一个). chardet.detect() 不建议任何编码。我试过在 decode() 的编码参数中用以下内容替换 'UTF-8' 但无济于事:
ISO-8859-1
拉丁-1
Windows-1252
也许值得一提的是字节数组数据看起来不像我期望的那样。这是来自有效 URL 的数据[:10]:
b'\n<!DOCTYPE'
这是来自 538 站点的数据[:10]:
b'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'
怎么了？
最佳答案
服务器为您提供了 gzip 压缩数据；这并不完全常见，因为默认情况下 urllib 不设置任何 accept-encoding 值，因此服务器通常保守地不压缩数据。
仍然设置了响应的content-encoding字段，所以你有办法知道你的页面确实是gzip压缩的，你可以解压它在进一步处理之前使用 Python gzip 模块。
import urllib.request
import gzip
file = urllib.request.urlopen(webAddress)
data = file.read()
if file.headers['content-encoding'].lower() == 'gzip':
data = gzip.decompress(data)
file.close()
dataString = data.decode(encoding='UTF-8')
OTOH，如果你有可能使用 requests模块它将自行处理所有这些困惑，包括压缩(我是否提到过除了 gzip，您还可能得到 deflate，is the same but with different headers？)和(至少部分地) 编码。
import requests
webAddress = "https://projects.fivethirtyeight.com/2018-nba-predictions/"
r = requests.get(webAddress)
print(repr(r.text))
这将执行您的请求并正确打印出已解码的 Unicode 字符串。
关于python - 为什么我不能解码这个 UTF-8 页面？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47740693/
24
4
0
UTF-8、UTF-16 和 UTF-32 之间有何区别？ 据我所知，它们都将存储 Unicode，并且每个都使用不同数量的字节来表示字符。选择其中之一是否有优势？ 最佳答案 当 ASCII 字符代表
好的。我知道这看起来像典型的“他为什么不直接用谷歌搜索或去 www.unicode.org 查一下？”问题，但对于这样一个简单的问题，在检查了两个来源后，我仍然无法回答。 我很确定这三种编码系统都支持
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符 最佳答案 没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。 编码之间的差异在于每个字符使用多少字节。 关于u
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符 最佳答案 没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。 编码之间的差异在于每个字符使用多少字节。 关于u
UTF-16 是一种双字节字符编码。交换两个字节的地址将产生 UTF-16BE 和 UTF-16LE。 但我发现在 Ubuntu gedit 文本编辑器中存在名称 UTF-16 编码，以及 UTF-1
我想将 UTF-16 字符串转换为 UTF-8。我通过 Unicode 发现了 ICU 库。我在转换时遇到问题，因为默认设置是 UTF-16。我试过使用转换器: UErrorCode myError
UTF-16 需要 2 个字节，UTF-8 需要 1 个字节。 而USB是面向8bit的，UTF-8更自然。 UTF-8 向后兼容 ASCII，而 UTF-16 则不然。 UTF-16 需要 2 个字
我对将 unicode 字符转换为十六进制值有点困惑。 我正在使用这个网站获取字符的十六进制值。 ( https://www.branah.com/unicode-converter ) 如果我输入“
我已经用UTF-8编码创建了一个文件，但是我不了解其在磁盘上占用的大小的规则。这是我的完整研究: 首先，我创建了一个带有印地语字母“'”的文件，Windows 7上的文件大小为 8个字节。 现在带有两
如何将WideString(或其他长字符串)转换为UTF-8中的字节数组？ 最佳答案 这样的功能将满足您的需求: function UTF8Bytes(const s: UTF8String): TB
我有一个奇怪的验证程序，用于验证utf-8字符串是否是有效的主机名(PHP中的Zend Framework主机名valdiator)。它允许IDN(国际化域名)。它将比较每个子域与由其十六进制字节表示
在 utf16 和 utf32 中，一个字节的零是否意味着空？就像在 utf8 中一样，还是我们需要 2 个和 4 个字节的零来相应地在 utf16 和 utf32 中创建 null？ 最佳答案 在
这是基于我的观察，对于 mysql，默认字符集 utf8 有点误导，它不支持完整的 Unicode，因为它无法存储四字节 UTF-8 编码的字符。它实际上是 utf8mb4 字符集，它是完整的 Uni
我只有处理 ASCII(单字节字符)的经验，并且阅读了很多关于人们如何以不同方式处理 Unicode 的帖子，这些帖子提出了他们自己的一系列问题。 此时我对 Unicode 的了解非常有限，我读到过U
我明白 std::codecvt在 C++11 中执行 UTF-16 和 UTF-8 之间的转换，并且 std::codecvt执行 UTF-32 和 UTF-8 之间的转换。是否可以在 UTF-8
我正在编写一个 HTTP 服务器并使用 trivial-utf-8:write-utf-8-bytes 来响应请求。我听说Babel就像trivial-utf-8但效率更高，所以我想试一试。搜索了一段
我正在设计一个新的 CMS，但想要设计它来满足我 future 的所有需求，比如多语言内容，所以我认为 Unicode (UTF-8) 是最好的解决方案 但是通过一些搜索我得到了这篇文章 http:/
例如，假设我在字符串中有以下 xml: 如果我尝试将其插入到带有 Xml 列的 SQL Server 2005 数据库表中，我将收到以下错误(我使用的是 EF 4.1，但我认为这无关紧要): XM
我正在使用 Python CSV 库读取两个 CSV 文件。 一种使用 UTF-8-BOM 编码，另一种使用 UTF-8 编码。在我的实践中，我发现使用“utf-8-sig”作为编码类型可以读取这两个
假设我的数据库设置如下以使用 utf-8(mysql 中的完整 4mb 版本) mysql_query("SET CHARACTER SET utf8mb4"); mysql_query("SET N
我是一名优秀的程序员,十分优秀！