- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
读取 UTF-16 字节流的规则是什么,以确定一个字符占用多少字节?我已经阅读了这些标准,但根据对现实世界 UTF-16 编码流的经验观察,看起来有些地方标准不成立(或者我缺少标准的某个方面) .
来自阅读UTF-16标准https://www.rfc-editor.org/rfc/rfc2781 :
0x0000-0xC7FF
2
0xD800-0xDBFF
4
0xDC00-0xDFFF
序列无效(RFC2781 2.2.2)
0xDFFF-0xFFFF
4
在实践中,这似乎是正确的,至少在某些情况下是这样。使用临时 SQL 脚本(SQL Server 2019;UTF-16 排序规则),但也使用在线解码器进行验证:
00 41
2B西里尔大写字母 BEU+0411
04 11
2ァ片假名字母小 AU+30A1
30 A1
2🐰兔子脸U+1F430
D8 3D DC 30
4
然而,当将以下 ISO 10646 字符编码为 UTF-16 时,它似乎是 4 个字节,但读取前导 2 个字节似乎没有迹象表明它会这么长:
26 95 FE 0F
4
虽然我宁愿让我的问题与软件无关;以下 SQL 将使用默认排序规则和默认语言在 Microsoft SQL Server 2019 上重现此行为。 (请注意 SQL Server 是小端)。
select cast(N'⚕️' as varbinary);
----------
0x95260FFE
很简单,你如何/为什么阅读 0x2695
并认为“我需要读入这个字符的下一个词。”?为什么这似乎与已发布的 UTF-16 标准不一致?
最佳答案
所有这些的正式定义称为“扩展字素簇”,它在 Unicode Text Segmentation report 中定义。 .正如 Joachim Sauer 指出的那样,谨慎使用 Unicode 中的“字符”一词是明智的。
代码点是“U+....”语法所指的,它试图捕捉书面语言的“单位”,例如“重音符”。但是读者会想到一个字符(例如“带有重音符的 e”)是一个“字素簇”,由一个或多个代码点组成。最终呈现在屏幕上的是一个“字形”,它既依赖于上下文又依赖于字体。
Unicode 中的字素簇实际上比这更微妙。 Unicode 试图以一种“中立”的方式来定义它们。 (在考虑语言时确实没有“中性”这样的东西,但 Unicode 确实尝试了。)例如,在斯洛伐克语中,ch、dz 和 dž 都是一个字母,但在 Unicode 中被视为两个字素簇。 (试着数一数斯洛伐克语单词中的“字母”。有些单词包含字母 dz,有些单词则包含字母 d 后跟字母 z。哦,人类书写系统。我非常爱你。)
字素簇到字形的映射也很复杂。例如,在阿拉伯语中,单个字形 لا 实际上是两个字素簇,ä(阿拉伯字母 LAM)后跟 ا(阿拉伯字母 ALEF)。如果您使用鼠标选择字形,您会看到有两个可选择的部分,如果您将它们复制并粘贴到另一个窗口,您会看到它们转换成它们的组成部分。 (为了让事情变得更复杂,Unicode 还为连字定义了一个代码点,ARABIC LIGATURE LAM WITH ALEF ISOLATED FORM: ﻻ。如果你试图选择其中的一部分,你会发现你不能。这是一个“字符”。)
您的具体情况比较特殊。变体选择器早于 Unicode,主要设计用于处理汉(中文)字符的不同变体。但是,与每个 Unicode 功能一样,它最终主要用于表情符号。 VS-16 是“emoji”的表现形式。最著名的例子是红心,即 HEAVY BLACK HEART ❤,其次是 VS-16:❤️。
同样,您的角色 U+2695 STAFF OF AESCULAPIUS 是单个代码点,默认情况下(文本样式)看起来像这样:⚕。当您添加 VS-16 时,它会以“表情符号样式”呈现:⚕️。在某些方面,它是相同的“字符”。或者是吗?取决于您使用它的目的。
表情符号样式通常稍大一些,并在其 block 中居中,有时会添加颜色。请注意在每种情况下绘制五线谱之后的句点(第二个示例中没有多余的空格;字形宽得多)。
还有其他组合系统:
所有这些都早于 Unicode。 Modern emoji is dramatically more complicated , 并包括几个自己的组合系统(包括两个目前仅用于标志)。
但幸运的是,对于您的实际问题,您的妻子是正确的,您通常可以使用所有标记为“组合”的尾随代码点来形成一个扩展的字素簇,这对某些人来说是一种“字符” “性格”的定义足够广泛。
关于unicode - 如何确定 UTF-16 字符的字节宽度?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67244569/
UTF-8、UTF-16 和 UTF-32 之间有何区别? 据我所知,它们都将存储 Unicode,并且每个都使用不同数量的字节来表示字符。选择其中之一是否有优势? 最佳答案 当 ASCII 字符代表
好的。我知道这看起来像典型的“他为什么不直接用谷歌搜索或去 www.unicode.org 查一下?”问题,但对于这样一个简单的问题,在检查了两个来源后,我仍然无法回答。 我很确定这三种编码系统都支持
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符 最佳答案 没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。 编码之间的差异在于每个字符使用多少字节。 关于u
是否存在可以用 UTF-16 编码但不能用 UTF-8 编码的字符 最佳答案 没有。 UTF-* 是可以对全范围 Unicode 字符进行编码的编码。 编码之间的差异在于每个字符使用多少字节。 关于u
UTF-16 是一种双字节字符编码。交换两个字节的地址将产生 UTF-16BE 和 UTF-16LE。 但我发现在 Ubuntu gedit 文本编辑器中存在名称 UTF-16 编码,以及 UTF-1
我想将 UTF-16 字符串转换为 UTF-8。我通过 Unicode 发现了 ICU 库。我在转换时遇到问题,因为默认设置是 UTF-16。我试过使用转换器: UErrorCode myError
UTF-16 需要 2 个字节,UTF-8 需要 1 个字节。 而USB是面向8bit的,UTF-8更自然。 UTF-8 向后兼容 ASCII,而 UTF-16 则不然。 UTF-16 需要 2 个字
我对将 unicode 字符转换为十六进制值有点困惑。 我正在使用这个网站获取字符的十六进制值。 ( https://www.branah.com/unicode-converter ) 如果我输入“
我已经用UTF-8编码创建了一个文件,但是我不了解其在磁盘上占用的大小的规则。这是我的完整研究: 首先,我创建了一个带有印地语字母“'”的文件,Windows 7上的文件大小为 8个字节。 现在带有两
如何将WideString(或其他长字符串)转换为UTF-8中的字节数组? 最佳答案 这样的功能将满足您的需求: function UTF8Bytes(const s: UTF8String): TB
我有一个奇怪的验证程序,用于验证utf-8字符串是否是有效的主机名(PHP中的Zend Framework主机名valdiator)。它允许IDN(国际化域名)。它将比较每个子域与由其十六进制字节表示
在 utf16 和 utf32 中,一个字节的零是否意味着空?就像在 utf8 中一样,还是我们需要 2 个和 4 个字节的零来相应地在 utf16 和 utf32 中创建 null? 最佳答案 在
这是基于我的观察,对于 mysql,默认字符集 utf8 有点误导,它不支持完整的 Unicode,因为它无法存储四字节 UTF-8 编码的字符。它实际上是 utf8mb4 字符集,它是完整的 Uni
我只有处理 ASCII(单字节字符)的经验,并且阅读了很多关于人们如何以不同方式处理 Unicode 的帖子,这些帖子提出了他们自己的一系列问题。 此时我对 Unicode 的了解非常有限,我读到过U
我明白 std::codecvt在 C++11 中执行 UTF-16 和 UTF-8 之间的转换,并且 std::codecvt执行 UTF-32 和 UTF-8 之间的转换。是否可以在 UTF-8
我正在编写一个 HTTP 服务器并使用 trivial-utf-8:write-utf-8-bytes 来响应请求。我听说Babel就像trivial-utf-8但效率更高,所以我想试一试。搜索了一段
我正在设计一个新的 CMS,但想要设计它来满足我 future 的所有需求,比如多语言内容,所以我认为 Unicode (UTF-8) 是最好的解决方案 但是通过一些搜索我得到了这篇文章 http:/
例如,假设我在字符串中有以下 xml: 如果我尝试将其插入到带有 Xml 列的 SQL Server 2005 数据库表中,我将收到以下错误(我使用的是 EF 4.1,但我认为这无关紧要): XM
我正在使用 Python CSV 库读取两个 CSV 文件。 一种使用 UTF-8-BOM 编码,另一种使用 UTF-8 编码。在我的实践中,我发现使用“utf-8-sig”作为编码类型可以读取这两个
假设我的数据库设置如下以使用 utf-8(mysql 中的完整 4mb 版本) mysql_query("SET CHARACTER SET utf8mb4"); mysql_query("SET N
我是一名优秀的程序员,十分优秀!