- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
当使用带有 unicode 输入的 locale
库时,我遇到了一个奇怪的行为。下面是一个最小的工作示例:
>>> x = '\U0010fefd'
>>> ord(x)
1113853
>>> ord('\U0010fefd') == 0X10fefd
True
>>> ord(x) <= 0X10ffff
True
>>> import locale
>>> locale.strxfrm(x)
'\U0010fefd'
>>> locale.setlocale(locale.LC_ALL, 'en_US.UTF-8')
'en_US.UTF-8'
>>> locale.strxfrm(x)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: character U+110000 is not in range [U+0000; U+10ffff]
我在 Python 3.3、3.4 和 3.5 上看到过这个。我在 Python 2.7 上没有收到错误。
据我所知,我的 unicode 输入在适当的 unicode 范围内,所以当使用“en_US.UTF-8”时,似乎 strxfrm
内部的某种东西正在移动输入超出范围。
我正在运行 Mac OS X,此行为可能与 http://bugs.python.org/issue23195 有关...但我的印象是这个错误只会表现为不正确的结果,而不是引发的异常。我无法在我的 SLES 11 机器上复制,其他人确认他们无法在 Ubuntu、Centos 或 Windows 上复制。在评论中听到其他操作系统可能会有所帮助。
谁能解释一下幕后可能发生的事情?
最佳答案
在 Python 3.x 中,函数 locale.strxfrm(s)
内部使用 POSIX C 函数 wcsxfrm() ,它基于当前的 LC_COLLATE 设置。 POSIX 标准以这种方式定义转换:
The transformation shall be such that if
wcscmp()
is applied to two transformed wide strings, it shall return a value greater than, equal to, or less than 0, corresponding to the result ofwcscoll()
applied to the same two original wide-character strings.
这个定义可以通过多种方式实现,甚至不需要结果字符串是可读的。
我创建了一个小的 C 代码示例来演示它是如何工作的:
#include <stdio.h>
#include <wchar.h>
#include <locale.h>
int main() {
wchar_t buf[10];
wchar_t *in = L"\x10fefd";
int i;
setlocale(LC_COLLATE, "en_US.UTF-8");
printf("in : ");
for(i=0;i<10 && in[i];i++)
printf(" 0x%x", in[i]);
printf("\n");
i = wcsxfrm(buf, in, 10);
printf("out: ");
for(i=0;i<10 && buf[i];i++)
printf(" 0x%x", buf[i]);
printf("\n");
}
它打印转换前后的字符串。
在 Linux (Debian Jessie) 上运行,结果如下:
in : 0x10fefd
out: 0x1 0x1 0x1 0x1 0x552
在 OSX (10.11.1) 上运行时,结果是:
in : 0x10fefd
out: 0x103 0x1 0x110000
可以看到在 OSX 上 wcsxfrm()
的输出包含 Python 字符串中不允许的字符 U+110000,因此这是错误的来源。
在 Python 2.7 上不会引发错误,因为它是 locale.strxfrm()
实现基于 strxfrm()
C 函数。
更新:
进一步调查,我发现 OSX 上 en_US.UTF-8 的 LC_COLLATE 定义是指向 la_LN.US-ASCII 定义的链接。
$ ls -l /usr/share/locale/en_US.UTF-8/LC_COLLATE
lrwxr-xr-x 1 root wheel 28 Oct 1 14:24 /usr/share/locale/en_US.UTF-8/LC_COLLATE -> ../la_LN.US-ASCII/LC_COLLATE
我在 sources 中找到了实际定义来自苹果。文件 la_LN.US-ASCII.src
的内容如下:
order \
\x00;...;\xff
第二次更新:
我在 OSX 上进一步测试了 wcsxfrm()
函数。使用 la_LN.US-ASCII 整理,给定宽字符序列 C1..Cn
作为输入,输出是具有以下形式的字符串:
W1..Wn \x01 U1..Un
在哪里
Wx = 0x103 if Cx > 0xFF else Cx+0x3
Ux = Cx+0x103 if Cx > 0xFF else Cx+0x3
使用这个算法\x10fefd
变成0x103 0x1 0x110000
我已经检查过,每个 UTF-8 语言环境都在 OSX 上使用此整理,所以我倾向于说 Apple 系统上对 UTF-8 的整理支持已损坏。生成的排序与通过正常字节比较获得的排序几乎相同,并且能够获取非法 Unicode 字符。
关于python - 调用 locale.strxfrm 时 Unicode 字符不在范围内,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33459384/
int i = 1; int main() { int i = 2; { int i = 3; cout 值为 3)。您能做的最好的事情就是在它仍在范
我可以手动为某些应用程序设置 $locale 吗? 支持本地化的唯一方法是否可能是包含当前语言环境的 Angular 库中的本地化文件。如果存在多种文化怎么办?在这种情况下我必须动态加载本地化文件?我
我有两台机器。一个使用 CUPS 1.5.0,另一个使用 CUPS 1.6.1。两台机器位于同一本地网络上。我想要完全发现网络上的打印机。如果我运行以下命令: CUPS_DEBUG_LEVEL=2 /
所以我基本上是这样做的。 OObjectDatabaseTx result = OObjectDatabasePool.global().acquire( "local:orientdb", "adm
控制台日志重新显示此错误 tsega/meteor-bootstrap3-datetimepicker TypeError: locale() locale it is not loaded from
我在使用 express 4 时很困惑。我使用 express-generator 来生成我的项目。根目录下有app.js,路由器文件有index.js。但是网上关于express的教程都是直接在
问题:直接使用 SimpleDateFormat,无需明确的语言环境Id:SimpleDateFormat SimpleDateFormat format = new SimpleDateFormat
这里的代码在 Python 中,但在使用语言环境的 C/C++ 中的行为应该是相同的。 >>> import locale >>> locale.setlocale(locale.LC_ALL, "f
根据 app-localize-behavior 的 polymer 文档 Each element that displays content to be localized should add
起初我从 this tutorial 实现 l10n到 Flutter 的模板项目文件,这是成功的。之后,我尝试将 MyHomePage 类移动到名为 home.dart 的新文件中。它停止工作是因为
我正在使用源代码中的Postgres 13(Rel_13_STRATE分支),并且我使用的是来自apachea/age源代码的(Release/PG13/1.3.0分支)中的1.3.0版的Apache
我有: 基于节点Express的Web服务器,应仅在用户的本地计算机上运行 一个 Angular 客户端应用程序,它将GET Http请求发送到该本地Web服务器以获取JSON中的数据并将其显示在浏览
问了一些类似的问题,但我的问题是,如果我想传播不同路由中间件的中间结果,最好的方法是什么? app.use(f1); app.use(f2); app.use(f3); function f1(req
我注意到我的本地变量中有从服务器收到的本地变量的副本。例如 Object { settings: "4.2", env: "development", utils: true,
我的网卡不稳定,尤其是从休眠状态恢复后,有时会掉线。退出对应于Vista的网络状态,在通知区域中显示为“仅限本地”。是否可以通过编程方式检索这些状态值(例如“有限连接”,“仅本地”,“本地和Inter
你好想知道在模板中是否有一种简单的方法来访问当前翻译的 lang 字符串。 最佳答案 您可以使用 I18n.locale 访问它. 所以在 ERB 中...... ...在 HAML 中: = I1
我在 Django 中工作。在 Django 中,当您渲染模板时,您向其发送一个上下文字典以进行替换。因为我很懒/干,所以我经常使用 locals() 作为快捷方式,而不是发送看起来像 {'my_va
我一直在尝试让 Java 根据语言环境转换数字。偶遇this post这在很大程度上帮助了我预先理解这一点,我设计了自己的方法将数字转换为特定的语言环境(根据关于这个主题的其他混淆讨论) 所以假设我有
当我运行“hadoop job -status xxx”时,输出以下一些列表。 Rack-local map tasks=124 Data-local map tasks=6 Rack-local m
关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗?更新问题,以便可以通过 editing this post 用事实和引文回答问题. 3个月前关闭。 Improve
我是一名优秀的程序员,十分优秀!