- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python实现针对中文排序的方法由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
本文实例讲述了Python实现针对中文排序的方法。分享给大家供大家参考,具体如下:
Python比较字符串大小时,根据的是ord函数得到的编码值。基于它的排序函数sort可以很容易为数字和英文字母排序,因为它们在编码表中就是顺序排列的.
1
2
|
>>
print
','
<
'1'
<
'A'
<
'a'
<
'阿'
True
|
但要很处理中文就没那么容易了。中文通常有拼音和笔画两种排序方式,在最常用中文标准字符集GB2312中,3755个一级中文汉字是按照拼音序进行编码的,而3008个二级汉字则是按部首笔画排列, 。
1
2
|
>>
print
'曙'
<
'鲑'
,
'曾'
<
'怡'
True
True
|
出现这样的结果是因为‘曙'和‘曾'都是常用字,而‘鲑'和‘怡'都是次常用字,但无论从笔画还是拼音来看,这两对顺序都应该反过来。后来扩充的GBK和GB18030编码为了向下兼容,都没有更改之前的汉字顺序,于是sort之后的次序就很乱了.
另一方面unicode编码的中文是按《康熙字典》的偏旁部首和笔画数来排列的,所以排序结果和GB编码又不一样.
1
2
3
4
5
|
# encoding=utf8
char
=
[
'赵'
,
'钱'
,
'孙'
,
'李'
,
'佘'
]
char.sort()
for
item
in
char:
print
item.decode(
'utf-8'
).encode(
'gb2312'
)
|
输出是:"佘孙李赵钱";而保存成gb2312编码后 。
1
2
3
4
5
|
# encoding=gb2312
char
=
[
'赵'
,
'钱'
,
'孙'
,
'李'
,
'佘'
]
char.sort()
for
item
in
char:
print
item
|
输出是:“李钱孙赵佘”。显然,这两个结果都不是我们想要的。那我们究竟怎样才能对中文正确排序呢?
先要弄清楚中文词典的排序规则:先按拼音排列,区分四声,拼音相同的就看笔画数目多少,笔画数也相同的再按笔顺中的具体笔划类型来区分,新华字典采用的顺序是一丨丿丶乙,也称作“天上人间”,应该没有笔划类型也完全一样的。所以中文排序不仅需要带音调的汉字拼音对照表,还需要有具体笔顺的数据.
本以为有现成的模块,试了几个都不理想。pyzh的转换代码只支持不到7千字,而且还没有音调。水木的roy的代码涵盖了2万多字符,但需要pysqlite支持......还是自立更生吧~ 。
我找到最全的数据是slowwind9999上传到csdn的unicode汉字编码表(点击此处本站下载。),包括全部20902个汉字的全拼、五笔、郑码、UNICODE、GBK、笔画数 部首,以及笔顺编号(拼音部分没有音调,而且个别注音有误,如 囍,猤,啹等字,使用需注意。)我提取了其中的笔顺数据,又用江志键的“实用汉字转拼音”程序制作了unicode汉字音调版,其中中文汉字用四声标注,319个日韩汉字没有音调以示区别,并根据汉典的数据略作修正(但仍可能存在错误)。有了这两个对照表,下面的工作就简单了.
1
2
3
4
5
6
7
8
9
10
|
# 建立拼音辞典
dic_py
=
dict
()
f_py
=
open
(
'py.txt'
,
'r'
)
content_py
=
f_py.read()
lines_py
=
content_py.split(
'\n'
)
n
=
len
(lines_py)
for
i
in
range
(
0
,n
-
1
):
word_py, mean_py
=
lines_py[i].split(
'\t'
,
1
)
dic_py[word_py]
=
mean_py
f_py.close()
|
笔顺字典的处理方法也完全相同,虽然文本有两万行,导入还是很快的,0.5秒左右。如果把这两个文件合并起来统一处理,应该可以更快.
1
2
3
4
5
6
7
8
9
10
11
|
# 辞典查找函数
def
searchdict(dic,uchar):
if
isinstance
(uchar,
str
):
uchar
=
unicode
(uchar,
'utf-8'
)
if
uchar >
=
u
'\u4e00'
and
uchar <
=
u
'\u9fa5'
:
value
=
dic.get(uchar.encode(
'utf-8'
))
if
value
=
=
None
:
value
=
'*'
else
:
value
=
uchar
return
value
|
查找中文,一律转为UTF8字符串,汉字外的其他字符不做处理,原样输出。如果需要声母,只输出拼音的第一个字符就是了。只要资料准确,比较起来就很轻松了。数字在字母之前,爱(ai4)便会比昂(ang2)靠前,而笔顺值的位数代表了笔画数,数值对应笔划权重,直接比较数字大小就可以得到正确的顺序。代码如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
|
#比较单个字符
def
comp_char_PY(A,B):
if
A
=
=
B:
return
-
1
pyA
=
searchdict(dic_py,A)
pyB
=
searchdict(dic_py,B)
if
pyA > pyB:
return
1
elif
pyA < pyB:
return
0
else
:
bhA
=
eval
(searchdict(dic_bh,A))
bhB
=
eval
(searchdict(dic_bh,B))
if
bhA > bhB:
return
1
elif
bhA < bhB:
return
0
else
:
return
'Are you kidding?'
#比较字符串
def
comp_char(A,B):
charA
=
A.decode(
'utf-8'
)
charB
=
B.decode(
'utf-8'
)
n
=
min
(
len
(charA),
len
(charB))
i
=
0
while
i < n:
dd
=
comp_char_PY(charA[i],charB[i])
if
dd
=
=
-
1
:
i
=
i
+
1
if
i
=
=
n:
dd
=
len
(charA)>
len
(charB)
else
:
break
return
dd
# 排序函数
def
cnsort(nline):
n
=
len
(nline)
lines
=
'\n'
.join(nline)
for
i
in
range
(
1
, n):
#插入法
tmp
=
nline[i]
j
=
i
while
j >
0
and
comp_char(nline[j
-
1
],tmp):
nline[j]
=
nline[j
-
1
]
j
-
=
1
nline[j]
=
tmp
return
nline
|
现在我们就可以按照字典的规范给中文排序了.
1
2
3
4
|
char
=
[
'赵'
,
'钱'
,
'孙'
,
'李'
,
'佘'
]
char
=
cnsort(char)
for
item
in
char:
print
item.decode(
'utf-8'
).encode(
'gb2312'
)
|
终于得到了“李钱佘孙赵”,示例文件点此下载.
这里我没有考虑多音字的情况。如果想让程序自动识别,可以增加多音词组对照表,通过上下文来判断。我不知道哪里有这样的数据,反正对于多音字不太多的情形,手动调整也就够了.
希望本文所述对大家Python程序设计有所帮助.
最后此篇关于Python实现针对中文排序的方法的文章就讲到这里了,如果你想了解更多关于Python实现针对中文排序的方法的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!