utf-8 - 为什么 UTF-8 会浪费这么多位？-6ren

utf-8 - 为什么 UTF-8 会浪费这么多位？

转载作者：行者123 更新时间：2023-12-03 21:27:31

24

4

如果你看 table here其中显示了UTF-8的字节布局，看起来很浪费!

一个 6 字节的字符有 17 个硬编码位!如果我们只是将每个字节的第一位设置为 1要指示“下一个字节是同一字符的一部分”，那么我们只需要 6 位:

1xxxxxxx 1xxxxxxx 1xxxxxxx 1xxxxxxx 1xxxxxxx 0xxxxxxx

它仍然会向后兼容 ASCII!而且我们也不会被限制在 6 个字节。

那么为什么 UTF-8 是浪费的呢？肯定有我没有看到的原因。此外，似乎第一个字节中有足够的信息，我们甚至不需要 10每个剩余字节上的 header 。我们本来可以

0xxxxxxx
10xxxxxx xxxxxxxx
110xxxxx xxxxxxxx xxxxxxxx
1110xxxx xxxxxxxx xxxxxxxx xxxxxxxx
11110xxx xxxxxxxx xxxxxxxx xxxxxxxx xxxxxxxx
11111xxx xxxxxxxx xxxxxxxx xxxxxxxx xxxxxxxx xxxxxxxx

那也会奏效，不是吗？或者我们可以使用不同的方案支持更多字节。

如果不正确支持 UTF-8，它是否与这些单个字节的显示方式有关？什么 10买得起？这种权衡值得吗？如果我尝试在仅 ASCII 的程序中呈现 UTF-8 编码的日语字符，那么无论如何我都会得到垃圾，不是吗？

最佳答案

这种冗余的原因是使 UTF-8 自同步:由一个码字的一部分或任何两个相邻码字的重叠部分形成的符号流不是有效的码字。见 https://en.wikipedia.org/wiki/Self-synchronizing_code和 https://en.wikipedia.org/wiki/UTF-8#History

关于utf-8 - 为什么 UTF-8 会浪费这么多位？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38488182/

24

4

0

文章推荐： R 意外地将字段从 CSV 文件转换为 NA

文章推荐： asp.net-mvc - 如何将 ViewData 传递给 HandleError View ？

文章推荐： asp.net-mvc - 如何在 ASP.NET MVC 中使用已编译的全局资源

unicode - UTF-8、UTF-16 和 UTF-32
UTF-8、UTF-16 和 UTF-32 之间有何区别？据我所知，它们都将存储 Unicode，并且每个都使用不同数量的字节来表示字符。选择其中之一是否有优势？最佳答案当 ASCII 字符代表
unicode - UTF-8、UTF-16 和 UTF-32 可以存储的字符数是否不同？
好的。我知道这看起来像典型的“他为什么不直接用谷歌搜索或去 www.unicode.org 查一下？”问题，但对于这样一个简单的问题，在检查了两个来源后，我仍然无法回答。我很确定这三种编码系统都支持
utf-8 - 是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符？
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符最佳答案没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。编码之间的差异在于每个字符使用多少字节。关于u
utf-8 - 是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符？
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符最佳答案没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。编码之间的差异在于每个字符使用多少字节。关于u
c - 在UTF-16、UTF-16BE、UTF-16LE中，UTF-16的字节序是计算机的字节顺序吗？
UTF-16 是一种双字节字符编码。交换两个字节的地址将产生 UTF-16BE 和 UTF-16LE。但我发现在 Ubuntu gedit 文本编辑器中存在名称 UTF-16 编码，以及 UTF-1
utf-8 - 使用 ICU 库的 UTF-16 到 UTF-8
我想将 UTF-16 字符串转换为 UTF-8。我通过 Unicode 发现了 ICU 库。我在转换时遇到问题，因为默认设置是 UTF-16。我试过使用转换器: UErrorCode myError
utf-8 - 为什么 USB 对字符串使用 UTF-16(为什么不使用 UTF-8)
UTF-16 需要 2 个字节，UTF-8 需要 1 个字节。而USB是面向8bit的，UTF-8更自然。 UTF-8 向后兼容 ASCII，而 UTF-16 则不然。 UTF-16 需要 2 个字
javascript - UTF-8 与 UTF-16 和 UTF-32 转换混淆
我对将 unicode 字符转换为十六进制值有点困惑。我正在使用这个网站获取字符的十六进制值。 ( https://www.branah.com/unicode-converter ) 如果我输入“
utf-8 - UTF-8编码的文件大小？
我已经用UTF-8编码创建了一个文件，但是我不了解其在磁盘上占用的大小的规则。这是我的完整研究: 首先，我创建了一个带有印地语字母“'”的文件，Windows 7上的文件大小为 8个字节。现在带有两
utf-8 - UTF-8中的字符串到字节数组？
如何将WideString(或其他长字符串)转换为UTF-8中的字节数组？最佳答案这样的功能将满足您的需求: function UTF8Bytes(const s: UTF8String): TB
utf-8 - UTF-8中的代理字符是什么？
我有一个奇怪的验证程序，用于验证utf-8字符串是否是有效的主机名(PHP中的Zend Framework主机名valdiator)。它允许IDN(国际化域名)。它将比较每个子域与由其十六进制字节表示
unicode - utf-8 null 和 utf-16/utf-32 null 一样吗？
在 utf16 和 utf32 中，一个字节的零是否意味着空？就像在 utf8 中一样，还是我们需要 2 个和 4 个字节的零来相应地在 utf16 和 utf32 中创建 null？最佳答案在
mysql - "AddDefaultCharset utf-8"指定的 Apache utf-8 字符集是否是完整的 utf-8？
这是基于我的观察，对于 mysql，默认字符集 utf8 有点误导，它不支持完整的 Unicode，因为它无法存储四字节 UTF-8 编码的字符。它实际上是 utf8mb4 字符集，它是完整的 Uni
c++ - 在 C++ 内部使用 UTF-8、UTF-16 和 UTF-32？
我只有处理 ASCII(单字节字符)的经验，并且阅读了很多关于人们如何以不同方式处理 Unicode 的帖子，这些帖子提出了他们自己的一系列问题。此时我对 Unicode 的了解非常有限，我读到过U
c++ - C++ 是否支持 UTF-8、UTF-16 和 UTF-32 以外的字符编码之间的转换？
我明白 std::codecvt在 C++11 中执行 UTF-16 和 UTF-8 之间的转换，并且 std::codecvt执行 UTF-32 和 UTF-8 之间的转换。是否可以在 UTF-8
utf-8 - Babel 有类似 trivial-utf-8 :write-utf-8-bytes? 的功能吗
我正在编写一个 HTTP 服务器并使用 trivial-utf-8:write-utf-8-bytes 来响应请求。我听说Babel就像trivial-utf-8但效率更高，所以我想试一试。搜索了一段
c# - UTF-8 或 UTF-16 或 UTF-32 或 UCS-2
我正在设计一个新的 CMS，但想要设计它来满足我 future 的所有需求，比如多语言内容，所以我认为 Unicode (UTF-8) 是最好的解决方案但是通过一些搜索我得到了这篇文章 http:/
.net - 如何将 UTF-8 编码为 UTF-16 的 xml 字符串转换为 UTF-16？
例如，假设我在字符串中有以下 xml: 如果我尝试将其插入到带有 Xml 列的 SQL Server 2005 数据库表中，我将收到以下错误(我使用的是 EF 4.1，但我认为这无关紧要): XM
python - "utf-8-sig"是否适契约(Contract)时解码 UTF-8 和 UTF-8 BOM？
我正在使用 Python CSV 库读取两个 CSV 文件。一种使用 UTF-8-BOM 编码，另一种使用 UTF-8 编码。在我的实践中，我发现使用“utf-8-sig”作为编码类型可以读取这两个
php - mysql_real_escape_string 是否容易受到无效的 UTF-8 攻击，例如超长的 UTF-8 或格式错误的 UTF-8 序列？
假设我的数据库设置如下以使用 utf-8(mysql 中的完整 4mb 版本) mysql_query("SET CHARACTER SET utf8mb4"); mysql_query("SET N

首页

博学

6Ren·AI

商城

utf-8 - 为什么 UTF-8 会浪费这么多位？