- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
读取 UTF-16 字节流的规则是什么,以确定一个字符占用多少字节?我已经阅读了这些标准,但根据对现实世界 UTF-16 编码流的经验观察,看起来有些地方标准不成立(或者我缺少标准的某个方面) .
来自阅读UTF-16标准https://www.rfc-editor.org/rfc/rfc2781 :
0x0000-0xC7FF
2
0xD800-0xDBFF
4
0xDC00-0xDFFF
序列无效(RFC2781 2.2.2)
0xDFFF-0xFFFF
4
在实践中,这似乎是正确的,至少在某些情况下是这样。使用临时 SQL 脚本(SQL Server 2019;UTF-16 排序规则),但也使用在线解码器进行验证:
00 41
2B西里尔大写字母 BEU+0411
04 11
2ァ片假名字母小 AU+30A1
30 A1
2🐰兔子脸U+1F430
D8 3D DC 30
4
然而,当将以下 ISO 10646 字符编码为 UTF-16 时,它似乎是 4 个字节,但读取前导 2 个字节似乎没有迹象表明它会这么长:
26 95 FE 0F
4
虽然我宁愿让我的问题与软件无关;以下 SQL 将使用默认排序规则和默认语言在 Microsoft SQL Server 2019 上重现此行为。 (请注意 SQL Server 是小端)。
select cast(N'⚕️' as varbinary);
----------
0x95260FFE
很简单,你如何/为什么阅读 0x2695
并认为“我需要读入这个字符的下一个词。”?为什么这似乎与已发布的 UTF-16 标准不一致?
最佳答案
所有这些的正式定义称为“扩展字素簇”,它在 Unicode Text Segmentation report 中定义。 .正如 Joachim Sauer 指出的那样,谨慎使用 Unicode 中的“字符”一词是明智的。
代码点是“U+....”语法所指的,它试图捕捉书面语言的“单位”,例如“重音符”。但是读者会想到一个字符(例如“带有重音符的 e”)是一个“字素簇”,由一个或多个代码点组成。最终呈现在屏幕上的是一个“字形”,它既依赖于上下文又依赖于字体。
Unicode 中的字素簇实际上比这更微妙。 Unicode 试图以一种“中立”的方式来定义它们。 (在考虑语言时确实没有“中性”这样的东西,但 Unicode 确实尝试了。)例如,在斯洛伐克语中,ch、dz 和 dž 都是一个字母,但在 Unicode 中被视为两个字素簇。 (试着数一数斯洛伐克语单词中的“字母”。有些单词包含字母 dz,有些单词则包含字母 d 后跟字母 z。哦,人类书写系统。我非常爱你。)
字素簇到字形的映射也很复杂。例如,在阿拉伯语中,单个字形 لا 实际上是两个字素簇,ä(阿拉伯字母 LAM)后跟 ا(阿拉伯字母 ALEF)。如果您使用鼠标选择字形,您会看到有两个可选择的部分,如果您将它们复制并粘贴到另一个窗口,您会看到它们转换成它们的组成部分。 (为了让事情变得更复杂,Unicode 还为连字定义了一个代码点,ARABIC LIGATURE LAM WITH ALEF ISOLATED FORM: ﻻ。如果你试图选择其中的一部分,你会发现你不能。这是一个“字符”。)
您的具体情况比较特殊。变体选择器早于 Unicode,主要设计用于处理汉(中文)字符的不同变体。但是,与每个 Unicode 功能一样,它最终主要用于表情符号。 VS-16 是“emoji”的表现形式。最著名的例子是红心,即 HEAVY BLACK HEART ❤,其次是 VS-16:❤️。
同样,您的角色 U+2695 STAFF OF AESCULAPIUS 是单个代码点,默认情况下(文本样式)看起来像这样:⚕。当您添加 VS-16 时,它会以“表情符号样式”呈现:⚕️。在某些方面,它是相同的“字符”。或者是吗?取决于您使用它的目的。
表情符号样式通常稍大一些,并在其 block 中居中,有时会添加颜色。请注意在每种情况下绘制五线谱之后的句点(第二个示例中没有多余的空格;字形宽得多)。
还有其他组合系统:
所有这些都早于 Unicode。 Modern emoji is dramatically more complicated , 并包括几个自己的组合系统(包括两个目前仅用于标志)。
但幸运的是,对于您的实际问题,您的妻子是正确的,您通常可以使用所有标记为“组合”的尾随代码点来形成一个扩展的字素簇,这对某些人来说是一种“字符” “性格”的定义足够广泛。
关于unicode - 如何确定 UTF-16 字符的字节宽度?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67244569/
我还没有找到太多关于何时使用 Unicode 的(简明)信息。我知道很多人说最佳实践是始终使用 Unicode。但 Unicode 字符串确实有更多的内存占用。我是否正确地说,必须仅在以下情况下使用
我正在构建一个需要使用表情符号的应用程序,特别是生成大量随机表情符号序列。这需要有一个大列表可供选择。而不是采取方法 detailed here通过循环硬编码十六进制范围,我决定采用不同的方法并从 t
早在 ZX Spectrum 的早期,就有一种方法可以将一个字形打印在另一个字形之上,从而在 OVER 1 指令的帮助下创建复合字形。 我想知道是否有 Unicode 方法可以在现代计算机上执行相同的
我有一个表示 Unicode 代码点的字符串,例如 "272d"。如何将其转换为 "✭"? Elixir 当然理解 Unicode: iex> > "✭" iex> "x{272d}" "✭" 但我需
自从我了解到 clang 能够编译用 Unicode 编写的 c++ 源文件后,我在编写与数学相关的代码时就开始大量使用它。比较 uₙ₊₁ᵖ = A*uₙ + B*uₙ₋₁; uₙ₊₁ᶜ = π *
感谢jmcnamara我发现了一种在 xlsxwriter 图表中使用 Unicode 字符的好方法:xlsxwrter: rich text format in chart title 我需要一个所
有些字符不包含在 Unicode 中(即带重音的西里尔字母),但可以使用组合序列创建。据我了解,可能的组合字符序列是在布局引擎和/或使用的字体中定义的。我对吗?那么,如何得到所有可能的组合序列呢? 最
我正在尝试使用 libunibreak ( https://github.com/adah1972/libunibreak ) 来标记某些给定 unicode 文本中可能的换行符。 Libunibre
我需要具有属性 Alphabetic 的 Unicode 字符范围列表如 http://www.unicode.org/Public/5.1.0/ucd/UCD.html#Alphabetic 中所定
我想为 Unicode 中的特定字符找到视觉上相同的字符。 我知道如何找到一个字符的规范或兼容性分解;但他们没有给我我想要的。 我想找到视觉上相同(不相似)的字符,它们唯一的区别可能是它们的大小。 例
假设我有包含此字符串的 Apache Solr 索引文档: Klüft skräms inför 我希望能够使用此关键字通过搜索找到它(注意“u”-“ü”): kluft 有没有办法做到这一点 ? 最
我已经阅读了很多文章以了解 Unicode 代码点的最大数量,但我没有找到最终答案。 我知道 Unicode 代码点已最小化,以使所有 UTF-8 UTF-16 和 UTF-32 编码都能够处理相同数
我正在使用 CSS Buttons With Icons But No Images . 图标是使用 unicode 值生成的。在这方面,我遇到了一些浏览器不支持某些 unicode 值的问题。因此,
我正在寻找一种方法将 Unicode 字母字符从任何语言音译为带重音的拉丁字母。目的是让外国人深入了解以任何非拉丁文字书写的姓名和单词的发音。 例子: 希腊语:Romanize("Αλφαβητικό
Unicode 6.0 添加了几个带有描述的字符,表明这些字符应该以特定颜色呈现: 红苹果 U+1F34E 青苹果 U+1F34F 蓝心U+1F499 绿心U+1F49A 黄心U+1F49B 紫心U+
我想知道,Unicode 中的每个字符都有一个代码点;字体中字符的类似术语是什么? 当解码文件需要映射到字体(或字体,通过一些现代字体替换技术)时,我从来没有理解过程的一部分。 例如,当文本编辑器从其
谁能告诉我 Unicode 可打印字符的范围是多少? [例如。 Ascii 可打印字符范围为\u0020 -\u007f] 最佳答案 参见,http://en.wikipedia.org/wiki/U
鉴于Unicode有been around for 18 years ,为什么还有不支持 Unicode 的应用程序?甚至我对某些操作系统和 Unicode 的体验至少可以说是痛苦的。正如乔尔·斯波尔
我要求计算 Unicode 中所有可能的有效组合的数量并附上解释。我知道一个 char 可以编码为 1、2、3 或 4 个字节。我也不明白为什么连续字节有限制,即使该字符的起始字节清除了它应该有多长。
Unicode 为中文字符分配了 U+4E00..U+9FFF。这是全套的一部分,但不是全部。 最佳答案 最终列表可以在 Unicode Character Code Charts 找到;在页面中搜索
我是一名优秀的程序员,十分优秀!