- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章浅谈python下含中文字符串正则表达式的编码问题由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
前言 。
python文件默认的编码格式是ascii ,无法识别汉字,因为ascii码中没有中文.
所以py文件中要写中文字符时,一般在开头加 # -*- coding: utf-8 -*- 或者 #coding=utf-8.
这是指定一种编码格式,意味着用该编码存储中文字符(也可以是gbk、gb2312等).
关于测试的几点注意 -------------------------------------------- 。
注1:代码中有中文,就要在头部指定编码方式,如果用编辑器写代码,还要注意ide的文件存储编码格式(一般在setting) 。
注2:python3.x的源码文件默认使用utf-8编码,可以解析中文,开头不指定也行,但为了规范和避免一些意想不到的问题,都指定一下为好 。
注3:linux交互式命令(左)和py文件(右)的运行结果会有不同:
左图,因为我cmd设置了gbk编码格式,所以u是s用gbk解码后的unicode对象,配套的解编码才能使原中文字符在print下正常显示,所以再用gbk编码;右图,py文件指定了utf8编码,所以u是s用utf8解码后的unicode对象(其他方式会运行错误),而且想要在屏幕上打印出中文,还须encode成cmd设置的编码(其他方式显示乱码).
注4:测试中文字符的显示和匹配时,最好用py文件写,否则遇到两边不一样的情况就会感到十分坑爹 。
---------------------------------------------------------------- 。
下面实验是基于python2.7和linux系统,不测试windows控制台和windows下的ide; 。
下面实验是关于为了正常显示中文和正则匹配中文的转码测试.
(一)python的str和中文字符串 。
简单理解,编码意味着 unicode -> ch-str,解码意味着 ch-str -> unicode, 。
关于print显示中文。举个例子,用gb18030和utf-8编码的内容相同的两份文档测试:
1
2
3
4
5
6
7
8
9
10
11
12
13
|
#coding=utf-8
import
sys
with
open
(
'ch_input_gbk'
,
'r'
) as f1,
open
(
'ch_input_utf'
,
'r'
) as f2:
for
l1
in
f1:
lines
=
l1.strip().split(
'\t'
)
# lines是list, 通过打印它可以看看str不同编码的内容
sent
=
lines[
0
]
# sent是ch-str
print
lines, sent
for
l2
in
f2:
lines
=
l2.strip().split(
'\t'
)
sent
=
lines[
0
]
print
lines, sent
print
sent.decode(
'utf8'
).encode(
'gbk'
)
#print str(sent).decode('string_escape').decode('utf8').encode('gbk')
|
输出:
1
2
3
4
5
6
7
8
9
10
11
12
|
[
'\xd3\xc4\xc8\xcb\xd6\xf1\xc9\xa3\xd4\xb0'
] 幽人竹桑园
[
'\xb9\xe9\xce\xd4\xbc\xc5\xce\xde\xd0\xfa'
] 归卧寂无喧
[
'\xce\xef\xc7\xe9\xbd\xf1\xd2\xd1\xbc\xfb'
] 物情今已见
[
'\xb4\xd3\xb4\xcb\xd3\xfb\xce\xde\xd1\xd4'
] 从此欲无言
[
'\xe5\xb9\xbd\xe4\xba\xba\xe7\xab\xb9\xe6\xa1\x91\xe5\x9b\xad'
] 骞戒汉绔规鍥
幽人竹桑园
[
'\xe5\xbd\x92\xe5\x8d\xa7\xe5\xaf\x82\xe6\x97\xa0\xe5\x96\xa7'
] 褰掑崸瀵傛棤鍠
归卧寂无喧
[
'\xe7\x89\xa9\xe6\x83\x85\xe4\xbb\x8a\xe5\xb7\xb2\xe8\xa7\x81'
] 鐗╂儏浠婂凡瑙
物情今已见
[
'\xe4\xbb\x8e\xe6\xad\xa4\xe6\xac\xb2\xe6\x97\xa0\xe8\xa8\x80'
] 浠庢娆叉棤瑷
从此欲无言
|
line7,f1的sent正常显示是因为,txt是gb18030编码,读入后仍为此(这与首行的#coding可不一样),我的cmd同样也是gb18030 。
line11,f2的sent乱码显示是因为,txt是utf8编码,读入后仍为此,但是print对str是按cmd设置的编码格式解读的 。
line12,sent又能正常显示是因为,utf8解码 -> unicode -> 编码为gb18030,所以print可以正常解读了 。
line13,有时读入或抓取的中文不是\xd3\xc4而是这个样子的\\xd3\\xc4,这是\被转义了,对它无法做decode转换编码,先用str(sent).decode('string_escape'),把反斜杠的转义去掉,然后就和第12行一样了 。
附,12行如果直接写 sent.encode('gbk') 会报错:
unicodedecodeerror: 'ascii' codec can't decode byte 0xe5 in position 0 。
是说,当前位置这个str不能被py默认的ascii解码,因为它是中文str;要用它的实际编码来解码而不是ascii:
1 修改py默认编码,由ascii改为当前str实际编码(utf8或gb18030等) 。
1
2
|
reload
(sys)
sys.setdefaultencoding(
'utf8'
)
|
2 但是读入多个文档含有多个编码方式时,1的方法就不方便,还是对不同的ch-str都采用unicode转换编码较好 (上面例子中的方式) 。
(二)中文字符串的正则匹配 。
只有一项标准,匹配字符串和原字符串编码统一, 。
还是举例子, 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
# -*- coding: utf-8 -*-
import
re
def
findpart(regex, text, name):
res
=
re.findall(regex, text)
print
"there are %d %s parts:"
%
(
len
(res), name)
for
r
in
res:
print
r.encode(
'gbk'
)
sample
=
'''en: regular expression is a powerful tool for manipulating text.
zh: 正则表达式是一种很有用的处理文本的工具。
jp: 正規表現は非常に役に立つツールテキストを操作することです。
jp-char: あアいイうウえエおオ
kr:정규 표현식은 매우 유용한 도구 텍스트를 조작하는 것입니다.
puc: ,。?!:,.?!:《》%&*#<>%&*#
'''
#convert the utf8 to unicode
usample
=
unicode
(sample,
'utf8'
)
#相当于usample = sample.decode('utf8')
#get each language parts:
findpart(u
"[\u4e00-\u9fa5]+"
, usample,
"unicode chinese"
)
findpart(u
"[\uac00-\ud7ff]+"
, usample,
"unicode korean"
)
findpart(u
"[\u30a0-\u30ff]+"
, usample,
"unicode japanese katakana"
)
findpart(u
"[\u3040-\u309f]+"
, usample,
"unicode japanese hiragana"
)
findpart(u
"[\u3000-\u303f\ufb00-\ufffd]+"
, usample,
"unicode cjk punctuation"
)
|
line20,目标字符串usample是unicode类型,故匹配字符串regex也要同(如u"[\u4e00-\u9fa5]+"),u就是转成unicode; 。
line7,usample是unicode,要想print正确显示,则需要r.encode('gbk'),根据cmd的编码格式; 。
正则匹配规则不多述,[\u????-\u????] 是不同语言的unicode编码段,该例输出是, 。
中文6个part:正则表达式是一种很有用的处理文本的工具、正規表現、非常、役、立、操作 。
韩文8个part:정규、표현식은、매우、유용한、도구、텍스트를、조작하는、것입니다 。
日文片假名6个part:ツールテキスト、ア、イ、ウ、エ、オ 。
日文平假名11个part:は、に、に、つ、を、することです、あ、い、う、え、お 。
非英文标点4个part:。、。、,。?!:、《》%&*# 。
另外,简单的正则匹配,举几个例子, 。
1
2
3
4
5
6
7
|
s1
=
'天天天向上天天向上'
print
(re.sub(ur
'[\u4e00-\u9fa5]{1,}'
, u
'1'
, s1.decode(
'utf8'
))).encode(
'gbk'
)
# 1
print
(re.sub(ur
'([\u4e00-\u9fa5])\1{1,}'
, u
'1'
, s1.decode(
'utf8'
))).encode(
'gbk'
)
# 1向上1向上
print
(re.sub(ur
'([\u4e00-\u9fa5])\1{2,}'
, u
'1'
, s1.decode(
'utf8'
))).encode(
'gbk'
)
# 1向上天天向上
s2
=
'【aa】天天bb@cc'
print
(re.sub(ur
'【.*】'
, u
'1'
, s2.decode(
'utf8'
))).encode(
'gbk'
)
# 1天天bb@cc
print
(re.sub(ur
'@'
, u
'1'
, s2.decode(
'utf8'
))).encode(
'gbk'
)
# 【aa】天天bb1cc
|
line2,{1,}匹配1~n个前面表达式,故6个汉字全部匹配 。
line3,()内为一个group,\1指第一个group,{1,}要再匹配1~n个前面group内容(若group内是1个字, {1,}要匹配第2个及往后的字),故匹配了3个天和2个天 。
line6和7,中英文标点符号匹配,regex没有转义符的话可以不写r,若text全是英文也可以不写u 。
以上这篇浅谈python下含中文字符串正则表达式的编码问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我.
原文链接:https://blog.csdn.net/index20001/article/details/78885494 。
最后此篇关于浅谈python下含中文字符串正则表达式的编码问题的文章就讲到这里了,如果你想了解更多关于浅谈python下含中文字符串正则表达式的编码问题的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
关闭。这个问题是off-topic .它目前不接受答案。 想要改进这个问题? Update the question所以它是on-topic用于堆栈溢出。 关闭 12 年前。 Improve thi
我有一个动态网格,其中的数据功能需要正常工作,这样我才能逐步复制网格中的数据。假设在第 5 行中,我输入 10,则从第 6 行开始的后续行应从 11 开始读取,依此类推。 如果我转到空白的第一行并输入
我有一个关于我的按钮消失的问题 我已经把一个图像作为我的按钮 用这个函数动画 function example_animate(px) { $('#cont
我有一个具有 Facebook 连接和经典用户名/密码登录的网站。目前,如果用户单击 facebook_connect 按钮,系统即可运行。但是,我想将现有帐户链接到 facebook,因为用户可以选
我有一个正在为 iOS 开发的应用程序,该应用程序执行以下操作 加载和设置注释并启动核心定位和缩放到位置。 map 上有很多注释,从数据加载不会花很长时间,但将它们实际渲染到 map 上需要一段时间。
我被推荐使用 Heroku for Ruby on Rails 托管,到目前为止,我认为我真的会喜欢它。只是想知道是否有人可以帮助我找出问题所在。 我按照那里的说明在该网站上创建应用程序,创建并提交
我看过很多关于 SSL 错误的帖子和信息,我自己也偶然发现了一个。 我正在尝试使用 GlobalSign CA BE 证书通过 Android WebView 访问网页,但出现了不可信错误。 对于大多
我想开始使用 OpenGL 3+ 和 4,但我在使用 Glew 时遇到了问题。我试图将 glew32.lib 包含在附加依赖项中,并且我已将库和 .dll 移动到主文件夹中,因此不应该有任何路径问题。
我已经盯着这两个下载页面的源代码看了一段时间,但我似乎找不到问题。 我有两个下载页面,一个 javascript 可以工作,一个没有。 工作:http://justupload.it/v/lfd7不是
我一直在使用 jQuery,只是尝试在单击链接时替换文本字段以及隐藏/显示内容项。它似乎在 IE 中工作得很好,但我似乎无法让它在 FF 中工作。 我的 jQuery: $(function() {
我正在尝试为 NDK 编译套接字库,但出现以下两个错误: error: 'close' was not declared in this scope 和 error: 'min' is not a m
我正在使用 Selenium 浏览器自动化框架测试网站。在测试过程中,我切换到特定的框架,我们将其称为“frame_1”。后来,我在 Select 类中使用了 deselectAll() 方法。不久之
我正在尝试通过 Python 创建到 Heroku PostgreSQL 数据库的连接。我将 Windows10 与 Python 3.6.8 和 PostgreSQL 9.6 一起使用。 我从“ht
我有一个包含 2 列的数据框,我想根据两列之间的比较创建第三列。 所以逻辑是:第 1 列 val = 3,第 2 列 val = 4,因此新列值什么都没有 第 1 列 val = 3,第 2 列 va
我想知道如何调试 iphone 5 中的 css 问题。 我尝试使用 firelite 插件。但是从纵向旋转到横向时,火石占据了整个屏幕。 有没有其他方法可以调试 iphone 5 中的 css 问题
所以我有点难以理解为什么这不起作用。我正在尝试替换我正在处理的示例站点上的类别复选框。我试图让它做以下事情:未选中时以一种方式出现,悬停时以另一种方式出现(选中或未选中)选中时以第三种方式出现(而不是
Javascript CSS 问题: 我正在使用一个文本框来写入一个 div。我使用以下 javascript 获取文本框来执行此操作: function process_input(){
你好,我很难理解 P、NP 和多项式时间缩减的主题。我试过在网上搜索它并问过我的一些 friend ,但我没有得到任何好的答案。 我想问一个关于这个话题的一般性问题: 设 A,B 为 P 中的语言(或
你好,我一直在研究 https://leetcode.com/problems/2-keys-keyboard/并想到了这个动态规划问题。 您从空白页上的“A”开始,完成后得到一个数字 n,页面上应该
我正在使用 Cocoapods 和 KIF 在 Xcode 服务器上运行持续集成。我已经成功地为一个项目设置了它来报告每次提交。我现在正在使用第二个项目并收到错误: Bot Issue: warnin
我是一名优秀的程序员,十分优秀!