个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
35
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Python中文分词工具之结巴分词用法实例总结【经典案例】由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
本文实例讲述了Python中文分词工具之结巴分词用法。分享给大家供大家参考，具体如下:
结巴分词工具的安装及基本用法，前面的文章《Python结巴中文分词工具使用过程中遇到的问题及解决方法》中已经有所描述。这里要说的内容与实际应用更贴近——从文本中读取中文信息，利用结巴分词工具进行分词及词性标注.
示例代码如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
#coding=utf-8
import
jieba
import
jieba.posseg as pseg
import
time
t1
=
time.time()
f
=
open
(
"t_with_splitter.txt"
,
"r"
)
#读取文本
string
=
f.read().decode(
"utf-8"
)
words
=
pseg.cut(string)
#进行分词
result
=
""
#记录最终结果的变量
for
w
in
words:
result
+
=
str
(w.word)
+
"/"
+
str
(w.flag)
#加词性标注
f
=
open
(
"t_with_POS_tag.txt"
,
"w"
)
#将结果保存到另一个文档中
f.write(result)
f.close()
t2
=
time.time()
print
(
"分词及词性标注完成，耗时："
+
str
(t2
-
t1)
+
"秒。"
)
#反馈结果
|
其中t_with_splitter.txt文件内容如下:
|
1
|
我是国内专业的网站建设资源、脚本编程学习类网站，提供asp、php、asp.net、javascript、jquery、vbscript、dos批处理、网页制作、网络编程、网站建设等编程资料。
|
Python2.7.9平台运行后出现如下图所示的错误提示:
查阅相关资料后发现，需要在开头加上:
|
1
2
3
|
import
sys
reload
(sys)
sys.setdefaultencoding(
"utf-8"
)
|
最终代码应为:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#coding=utf-8
import
jieba
import
jieba.posseg as pseg
import
time
import
sys
reload
(sys)
sys.setdefaultencoding(
"utf-8"
)
t1
=
time.time()
f
=
open
(
"t_with_splitter.txt"
,
"r"
)
#读取文本
string
=
f.read().decode(
"utf-8"
)
words
=
pseg.cut(string)
#进行分词
result
=
""
#记录最终结果的变量
for
w
in
words:
result
+
=
str
(w.word)
+
"/"
+
str
(w.flag)
#加词性标注
f
=
open
(
"t_with_POS_tag.txt"
,
"w"
)
#将结果保存到另一个文档中
f.write(result)
f.close()
t2
=
time.time()
print
(
"分词及词性标注完成，耗时："
+
str
(t2
-
t1)
+
"秒。"
)
#反馈结果
|
运行成功:
Editplus打开t_with_POS_tag.txt文件如下图所示:
希望本文所述对大家Python程序设计有所帮助.
最后此篇关于Python中文分词工具之结巴分词用法实例总结【经典案例】的文章就讲到这里了,如果你想了解更多关于Python中文分词工具之结巴分词用法实例总结【经典案例】的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
35
4
0
最近我在用 RestSharp消耗我的 Restful 资源。并期望在服务器和客户端之间与 JSon 交换数据。下面是我的 C# 代码。 var client = new RestSharp.Rest
我正在阅读 Bartosz Milewski 的一篇文章，其中他定义了以下函数: instance Applicative Chan where pure x = Chan (repeat x)
‘…' 其实是go的一种语法糖。 它的第一个用法主要是用于函数有多个不定参数的情况，可以接受多个不确定数量的参数。 第二个用法是slice可以被打散进行传递。 实例：
前言 在算face_track_id map有感： 开始验证 data={"state":[1,1,2,2,1,2,2,2],"pop":[&quo
本文实例讲述了php访问数组最后一个元素的函数end()用法。分享给大家供大家参考。具体分析如下： end()函数在PHP中用于检索数组中的最后一个元素。end()函数需要一个数组作为其唯一参数，
我使用的是 jdk1.8.0_92。我的虚拟机如下所示。 $java -version java version "1.8.0_92" Java(TM) SE Runtime Environment
我的情况是我需要将所有匹配 http://mywebsite.com/portfolio/[anyname] 的请求定向到 http://mywebsite.com/portfolio.php？用户名
我正在尝试在 NLTK 中使用语音标记并使用了以下命令: >>> text = nltk.word_tokenize("And now for something completely differe
#include typedef QList IntList; qRegisterMetaType("IntList"); error C2909: 'qRegisterMetaType':
来自 here我知道 BN_CTX 是一个保存 BIGNUM 临时变量的结构。这些 BIGNUM 变量什么时候会进入 BN_CTX 的 BN_POOL？如果我有一个 bignum_ctx BN_CTX
尝试为 ABPersonRef 创建对象例子:ABpersonRef 引用； 已包含Addressbook和AddressBookUI框架即使这样，当我编译时，它仍显示“ABPersonRef”未声明
我无法使用 GetAltTabInfo。可能是一个愚蠢的错误，但这有什么问题呢？ HWND taskSwitcher = FindWindow(L"TaskSwitcherWnd", L"Task S
JSLint4Java 是 JSLint 的 Java 包装器。我需要这样的东西在我的 GWT 项目中使用，但使用 JSLint4Java 的唯一方法似乎是从命令行或通过 ANT 任务。有谁知道是否有
我有一个持久化实体对象的方法 persistData() 。我有另一个方法 findData() ，它对同一实体类执行 find() 操作以获取持久的主键值。当我在实体类的@PostPersist中调
下面是我的代码。请查看。 1. bool isUnavailable = db.Deploys.Where(p => p.HostEnvironmentId == Guid.Parse(h
这个问题已经有答案了: Why can't a Generic Type Parameter have a lower bound in Java? (6 个回答) 已关闭 9 年前。 我试图理解为什
我正在尝试使用 scala 编译器 Y 警告，但我认为我做得不对。在下面的示例中，nums 未使用，因此我希望 -Ywarn-value-discard 打印一个警告。有两个 if 条件，一个嵌套在另
用户被要求从某个给定的集合中选择一个 ID。我检查该 ID 是否存在于我的集合中，如果不存在，我会抛出 IndexOutOfBoundsException 并稍后捕获它。我实际上可以使用该异常来达到这
我正在尝试减少从 OSM 路径数据生成的形状文件。我正在使用 VTS 的 DouglasPeuckerSimplifier 实现。我想为特定 GTFS(通用交通提要规范)构建路线图的 geojson。
我明白了？!是排除某个模式，例如 a(?!b) 表示如果“a”后面没有“b”，它将匹配“a”。我的问题是，假设我有一个包含以下内容的文件: a cat is a cat, a dog is a dog
我是一名优秀的程序员,十分优秀！