- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我需要以类似表格的格式解析和输出一些数据。输入采用 unicode 编码。这是测试脚本:
#!/usr/bin/env python
s1 = u'abcd'
s2 = u'\u03b1\u03b2\u03b3\u03b4'
print '1234567890'
print '%5s' % s1
print '%5s' % s2
在像 test.py
这样的简单调用的情况下,它按预期工作:
1234567890 abcd αβγδ
但是如果我尝试将输出重定向到文件 test.py > a.txt
,我会收到错误消息:
Traceback (most recent call last): File "./test.py", line 8, in print '%5s' % s2UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-4: ordinal not in range(128)
如果我将字符串转换为 UTF-8 编码,如 s2.encode('utf8')
重定向工作正常,但数据位置被破坏:
1234567890 abcdαβγδ
如何强制它在两种情况下都正常工作?
最佳答案
它归结为您的输出流编码。在这种特殊情况下,由于您使用的是 print
,因此使用的输出文件是 sys.stdout
。
stdout
未重定向当你在交互模式下运行 Python 时,或者当你不将 stdout
重定向到文件时,Python 使用基于环境的编码,即 locale 环境变量,如 LC_CTYPE
。例如,如果您这样运行程序:
$ LC_CTYPE='en_US' python test.py
...
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-4: ordinal not in range(128)
它将使用 ANSI_X3.4-1968
作为 sys.stdout
(参见 sys.stdout.encoding
)并失败。但是,您是否使用 UTF-8
(您显然已经这样做了):
$ LC_CTYPE='en_US.UTF-8' python test.py
1234567890
abcd
αβγδ
您将获得预期的输出。
stdout
重定向到文件当您将 stdout
重定向到一个文件时,Python 不会尝试从您的环境区域设置中检测编码,但它会检查另一个环境变量 PYTHONIOENCODING
(检查源代码 initstdio()
in Python/pylifecycle.c
)。例如,这将按预期工作:
$ PYTHONIOENCODING=utf-8 python test.py >/tmp/output
因为 Python 将对 /tmp/output
文件使用 UTF-8
编码。
stdout
编码覆盖您还可以使用所需的编码手动重新打开 sys.stdout
(检查 this 和 this SO 问题):
import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
现在 print
将正确输出 str
和 unicode
对象,因为底层流编写器会将它们转换为 UTF-8
即时。
当然,您也可以在输出之前手动将每个 unicode
编码为 UTF-8
str
:
print ('%5s' % s2).encode('utf8')
但这既乏味又容易出错。
为了完整性:在 Python 2 中打开以特定编码(如 UTF-8)写入的文件时,您应该使用 io.open
或 codecs.open
,因为它们允许您指定编码(请参阅 this question),这与内置的open
:
from codecs import open
myfile = open('filename', encoding='utf-8')
或:
from io import open
myfile = open('filename', encoding='utf-8')
关于python - 格式化固定宽度的字符串(unicode 和 utf8),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45783034/
我还没有找到太多关于何时使用 Unicode 的(简明)信息。我知道很多人说最佳实践是始终使用 Unicode。但 Unicode 字符串确实有更多的内存占用。我是否正确地说,必须仅在以下情况下使用
我正在构建一个需要使用表情符号的应用程序,特别是生成大量随机表情符号序列。这需要有一个大列表可供选择。而不是采取方法 detailed here通过循环硬编码十六进制范围,我决定采用不同的方法并从 t
早在 ZX Spectrum 的早期,就有一种方法可以将一个字形打印在另一个字形之上,从而在 OVER 1 指令的帮助下创建复合字形。 我想知道是否有 Unicode 方法可以在现代计算机上执行相同的
我有一个表示 Unicode 代码点的字符串,例如 "272d"。如何将其转换为 "✭"? Elixir 当然理解 Unicode: iex> > "✭" iex> "x{272d}" "✭" 但我需
自从我了解到 clang 能够编译用 Unicode 编写的 c++ 源文件后,我在编写与数学相关的代码时就开始大量使用它。比较 uₙ₊₁ᵖ = A*uₙ + B*uₙ₋₁; uₙ₊₁ᶜ = π *
感谢jmcnamara我发现了一种在 xlsxwriter 图表中使用 Unicode 字符的好方法:xlsxwrter: rich text format in chart title 我需要一个所
有些字符不包含在 Unicode 中(即带重音的西里尔字母),但可以使用组合序列创建。据我了解,可能的组合字符序列是在布局引擎和/或使用的字体中定义的。我对吗?那么,如何得到所有可能的组合序列呢? 最
我正在尝试使用 libunibreak ( https://github.com/adah1972/libunibreak ) 来标记某些给定 unicode 文本中可能的换行符。 Libunibre
我需要具有属性 Alphabetic 的 Unicode 字符范围列表如 http://www.unicode.org/Public/5.1.0/ucd/UCD.html#Alphabetic 中所定
我想为 Unicode 中的特定字符找到视觉上相同的字符。 我知道如何找到一个字符的规范或兼容性分解;但他们没有给我我想要的。 我想找到视觉上相同(不相似)的字符,它们唯一的区别可能是它们的大小。 例
假设我有包含此字符串的 Apache Solr 索引文档: Klüft skräms inför 我希望能够使用此关键字通过搜索找到它(注意“u”-“ü”): kluft 有没有办法做到这一点 ? 最
我已经阅读了很多文章以了解 Unicode 代码点的最大数量,但我没有找到最终答案。 我知道 Unicode 代码点已最小化,以使所有 UTF-8 UTF-16 和 UTF-32 编码都能够处理相同数
我正在使用 CSS Buttons With Icons But No Images . 图标是使用 unicode 值生成的。在这方面,我遇到了一些浏览器不支持某些 unicode 值的问题。因此,
我正在寻找一种方法将 Unicode 字母字符从任何语言音译为带重音的拉丁字母。目的是让外国人深入了解以任何非拉丁文字书写的姓名和单词的发音。 例子: 希腊语:Romanize("Αλφαβητικό
Unicode 6.0 添加了几个带有描述的字符,表明这些字符应该以特定颜色呈现: 红苹果 U+1F34E 青苹果 U+1F34F 蓝心U+1F499 绿心U+1F49A 黄心U+1F49B 紫心U+
我想知道,Unicode 中的每个字符都有一个代码点;字体中字符的类似术语是什么? 当解码文件需要映射到字体(或字体,通过一些现代字体替换技术)时,我从来没有理解过程的一部分。 例如,当文本编辑器从其
谁能告诉我 Unicode 可打印字符的范围是多少? [例如。 Ascii 可打印字符范围为\u0020 -\u007f] 最佳答案 参见,http://en.wikipedia.org/wiki/U
鉴于Unicode有been around for 18 years ,为什么还有不支持 Unicode 的应用程序?甚至我对某些操作系统和 Unicode 的体验至少可以说是痛苦的。正如乔尔·斯波尔
我要求计算 Unicode 中所有可能的有效组合的数量并附上解释。我知道一个 char 可以编码为 1、2、3 或 4 个字节。我也不明白为什么连续字节有限制,即使该字符的起始字节清除了它应该有多长。
Unicode 为中文字符分配了 U+4E00..U+9FFF。这是全套的一部分,但不是全部。 最佳答案 最终列表可以在 Unicode Character Code Charts 找到;在页面中搜索
我是一名优秀的程序员,十分优秀!