- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我需要以类似表格的格式解析和输出一些数据。输入采用 unicode 编码。这是测试脚本:
#!/usr/bin/env python
s1 = u'abcd'
s2 = u'\u03b1\u03b2\u03b3\u03b4'
print '1234567890'
print '%5s' % s1
print '%5s' % s2
在像 test.py
这样的简单调用的情况下,它按预期工作:
1234567890 abcd αβγδ
但是如果我尝试将输出重定向到文件 test.py > a.txt
,我会收到错误消息:
Traceback (most recent call last): File "./test.py", line 8, in print '%5s' % s2UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-4: ordinal not in range(128)
如果我将字符串转换为 UTF-8 编码,如 s2.encode('utf8')
重定向工作正常,但数据位置被破坏:
1234567890 abcdαβγδ
如何强制它在两种情况下都正常工作?
最佳答案
它归结为您的输出流编码。在这种特殊情况下,由于您使用的是 print
,因此使用的输出文件是 sys.stdout
。
stdout
未重定向当你在交互模式下运行 Python 时,或者当你不将 stdout
重定向到文件时,Python 使用基于环境的编码,即 locale 环境变量,如 LC_CTYPE
。例如,如果您这样运行程序:
$ LC_CTYPE='en_US' python test.py
...
UnicodeEncodeError: 'ascii' codec can't encode characters in position 1-4: ordinal not in range(128)
它将使用 ANSI_X3.4-1968
作为 sys.stdout
(参见 sys.stdout.encoding
)并失败。但是,您是否使用 UTF-8
(您显然已经这样做了):
$ LC_CTYPE='en_US.UTF-8' python test.py
1234567890
abcd
αβγδ
您将获得预期的输出。
stdout
重定向到文件当您将 stdout
重定向到一个文件时,Python 不会尝试从您的环境区域设置中检测编码,但它会检查另一个环境变量 PYTHONIOENCODING
(检查源代码 initstdio()
in Python/pylifecycle.c
)。例如,这将按预期工作:
$ PYTHONIOENCODING=utf-8 python test.py >/tmp/output
因为 Python 将对 /tmp/output
文件使用 UTF-8
编码。
stdout
编码覆盖您还可以使用所需的编码手动重新打开 sys.stdout
(检查 this 和 this SO 问题):
import sys
import codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
现在 print
将正确输出 str
和 unicode
对象,因为底层流编写器会将它们转换为 UTF-8
即时。
当然,您也可以在输出之前手动将每个 unicode
编码为 UTF-8
str
:
print ('%5s' % s2).encode('utf8')
但这既乏味又容易出错。
为了完整性:在 Python 2 中打开以特定编码(如 UTF-8)写入的文件时,您应该使用 io.open
或 codecs.open
,因为它们允许您指定编码(请参阅 this question),这与内置的open
:
from codecs import open
myfile = open('filename', encoding='utf-8')
或:
from io import open
myfile = open('filename', encoding='utf-8')
关于python - 格式化固定宽度的字符串(unicode 和 utf8),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45783034/
如何使用 SPListCollection.Add(String, String, String, String, Int32, String, SPListTemplate.QuickLaunchO
我刚刚开始使用 C++ 并且对 C# 有一些经验,所以我有一些一般的编程经验。然而,似乎我马上就被击落了。我试过在谷歌上寻找,以免浪费任何人的时间,但没有结果。 int main(int argc,
这个问题已经有答案了: In Java 8 how do I transform a Map to another Map using a lambda? (8 个回答) Convert a Map>
我正在使用 node + typescript 和集成的 swagger 进行 API 调用。我 Swagger 提出以下要求 http://localhost:3033/employees/sear
我是 C++ 容器模板的新手。我收集了一些记录。每条记录都有一个唯一的名称,以及一个字段/值对列表。将按名称访问记录。字段/值对的顺序很重要。因此我设计如下: typedef string
我需要这两种方法,但j2me没有,我找到了一个replaceall();但这是 replaceall(string,string,string); 第二个方法是SringBuffer但在j2me中它没
If string is an alias of String in the .net framework为什么会发生这种情况,我应该如何解释它: type JustAString = string
我有两个列表(或字符串):一个大,另一个小。 我想检查较大的(A)是否包含小的(B)。 我的期望如下: 案例 1. B 是 A 的子集 A = [1,2,3] B = [1,2] contains(A
我有一个似乎无法解决的小问题。 这里...我有一个像这样创建的输入... var input = $(''); 如果我这样做......一切都很好 $(this).append(input); 如果我
我有以下代码片段 string[] lines = objects.Split(new string[] { "\r\n", "\n" }, StringSplitOptions.No
这可能真的很简单,但我已经坚持了一段时间了。 我正在尝试输出一个字符串,然后输出一个带有两位小数的 double ,后跟另一个字符串,这是我的代码。 System.out.printf("成本:%.2
以下是 Cloud Firestore 列表查询中的示例之一 citiesRef.where("state", ">=", "CA").where("state", "= 字符串,我们在Stack O
我正在尝试检查一个字符串是否包含在另一个字符串中。后面的代码非常简单。我怎样才能在 jquery 中做到这一点? function deleteRow(locName, locID) { if
这个问题在这里已经有了答案: How to implement big int in C++ (14 个答案) 关闭 9 年前。 我有 2 个字符串,都只包含数字。这些数字大于 uint64_t 的
我有一个带有自定义转换器的 Dozer 映射: com.xyz.Customer com.xyz.CustomerDAO customerName
这个问题在这里已经有了答案: How do I compare strings in Java? (23 个回答) 关闭 6 年前。 我想了解字符串池的工作原理以及一个字符串等于另一个字符串的规则是
我已阅读 this问题和其他一些问题。但它们与我的问题有些无关 对于 UILabel 如果你不指定 ? 或 ! 你会得到这样的错误: @IBOutlet property has non-option
这两种方法中哪一种在理论上更快,为什么? (指向字符串的指针必须是常量。) destination[count] 和 *destination++ 之间的确切区别是什么? destination[co
This question already has answers here: Closed 11 years ago. Possible Duplicates: Is String.Format a
我有一个Stream一个文件的,现在我想将相同的单词组合成 Map这很重要,这个词在 Stream 中出现的频率. 我知道我必须使用 collect(Collectors.groupingBy(..)
我是一名优秀的程序员,十分优秀!