个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
24
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章python利用多种方式来统计词频（单词个数）由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
python的思维就是让我们用尽可能少的代码来解决问题。对于词频的统计，就代码层面而言，实现的方式也是有很多种的。之所以单独谈到统计词频这个问题，是因为它在统计和数据挖掘方面经常会用到，尤其是处理分类问题上。故在此做个简单的记录.
统计的材料如下:
|
1
2
3
4
5
|
document
=
[
'look'
,
'into'
,
'my'
,
'eyes'
,
'look'
,
'into'
,
'my'
,
'eyes'
,
'the'
,
'eyes'
,
'the'
,
'eyes'
,
'the'
,
'eyes'
,
'not'
,
'around'
,
'the'
,
'eyes'
,
"don't"
, 'look
', '
around
', '
the
', '
eyes
', '
look
', '
into',
'my'
,
'eyes'
,
"you're"
, 'under']
|
直接使用dict来进行统计（遍历+循环） 。
|
1
2
3
4
5
6
|
word_count
=
{}
for
word
in
document:
if
word
in
word_count:
word_count[word]
+
=
1
else
:
word_count[word]
=
1
|
更优雅的实现方式 。
|
1
2
3
4
5
6
7
|
#假如字典中不存在给定的键，则返回参数中提供的默认值；反之，则返回字典中保存的值。
for
word
in
document:
previous_count
=
word_count.get(word,
0
)
word_count[word]
=
previous_count
+
1
#可以合并成一行
for
word
in
document:
word_count[word]
=
word_count.setdefault(word,
0
)
+
1
|
使用defalutdict来实现 。
|
1
2
3
4
5
|
# 使用collections中的defalutdict来实现，defalutdict是一种值可以默认设置的dict
from
collections
import
defaultdict
word_count
=
defaultdict(
int
)
for
word
in
document:
word_count[word]
+
=
1
|
使用Counter 。
|
1
|
word_counter
=
Counter(document)
|
Counter既然是一个计数器，那么它本身也就具有很多统计的方法。例如，最常见的词频统计的排序，可以获得前n个最高的词频.
|
1
2
|
# 返回前n个最高词频，以字典的形式
word_counter.most_common(n)
|
显然，使用defalutdict和Counter代码最简洁，更能符合python开发之道.
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我.
原文链接：https://www.cnblogs.com/Sinte-Beuve/p/6571717.html 。
最后此篇关于python利用多种方式来统计词频（单词个数）的文章就讲到这里了,如果你想了解更多关于python利用多种方式来统计词频（单词个数）的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
24
4
0
我有以下数据框 (df_hvl)，列名“FzListe”和以下数据: FzListe 7MA1, 7OS1 7MA1, 7ZJB 7MA2, 7MA3, 7OS1 76G1, 7MA1, 7OS1 7
我有点小问题。仅当尝试写入的相同字符串/单词不存在时，我才想写入文件。在我的例子中，它是一个 IP 地址和端口，用“:”分隔。如果我手动写入文件，例如 193...:80 和 193...:22，它指
如何返回结果列中的单词示例？ 我得到的最接近的是 [\W]{2,}[^,\W].+[?=,] ID 文本 我的结果(完全匹配) 预期(完全匹配) 1 词A，世界B，词C , 世界 B, 字B 2 wo
我想在引号之间得到一个字符串 我知道一个解决方案是: /'.*?'/ 但问题是它不适用于英语中的所有格或收缩格 例如: What is the name of Mario's brother in t
我应该在句子中找到出现最多的单词。 这是我尝试过的，但不起作用。 '); $max = -1; $resultWords = array(); $resultCount = array(); $i =
我是vim的新手。我正在尝试练习(最近阅读了一些教程)，但是我发现我不能不突出显示“复制粘贴”中的字符/单词/行。 在Textmate中，我通常使用SHIFT + CTRL + LeftArrowKe
有谁知道一个JSON格式的英语词典，该词典具有(单词，定义和单词类型，例如名词/形容词/动词/副词) 这种格式: [ {"Word" : "Chair", "Definition" : "A
我正在做一些 javascript，同时我注意到我无法替换 html 标记内的“ document.getElementById('label').innerHTML = document.get
您好，我正在使用 groovy 2.1.5，我必须编写一个代码来显示具有给定路径的目录的内容/文件，然后它会备份文件并替换文件中的单词/字符串。 这是我用来尝试替换所选文件中的单词的代码 String
我正在准备一个实验，我想使用python编写程序以识别参与者说出的某些单词。 我在python中搜索了很多有关语音识别的内容，但结果却很复杂(例如CMUSphinx)。 我要实现的是一个程序，该程序接
假设我有以下代码: $size = 23.9 $size = "$size GB" write $size 我想在其他事情上使用相同的变量，即 if ($size -lt 20) {...} 这显然是
我想替换字符串中单词 Date 的所有情况，除非它是 Date()(即 Date 后跟括号)。这是一个字符串示例以及我最初尝试的内容: x gsub("Date", paste("Date:", S
我对 Java 和编程都很陌生，请记住这一点，请不要对我严厉 ^^。接下来，我最近用 Java 进行了一些培训，我喜欢这个挑战，但现在我只是陷入困境。我做了一些示例来查找用户输入的最大字符串，一切都很
我必须给一个数字x，并写x个字符串(单词)。我必须找到写得最多的那一篇。它可以工作，但是当我尝试从文件中读取它时，却没有。例如，如果我执行 a.out'' #include #include in
这里是学习者，如果这个问题看起来很荒谬，请多多包涵。假设我试图引用字符串中的字符而不是字符串本身，我该怎么做呢？我的意思是; 给定:var str = "我想知道一个大脑分散的计算机如何保持理智" 我
这是阿克沙塔。我一直在解析以下数据。我想单独获取每个单词。我可以有一个示例代码以便我可以继续吗 RTRV-HDR RH01 SIMULATOR 09-11-18 16 13 19 M R
我有一个任意字符串，它总是包含至少一个英文单词后跟一系列数字:"Hello World 1234" 我如何只提取 "Hello World" 来自字符串？ 最佳答案 在我看来你需要反正则表达式: St
我正在尝试输入一个四个单词的句子，然后能够使用indexOf和子字符串单独打印出每个单词。有什么想法我做错了吗？ 已编辑 那么这就是它应该的样子吗？我已经运行了两次，得到了两个不同的答案，所以我不确定
如何在文本开头查找短语(单词) 我需要非常快速的解决方案来查明文本是否以某些已知短语开头 我在 Mysql (innodb) 表中的短语如下: CREATE TABLE IF NOT EXISTS `
我在 MYSQL 表中有一本字典，该表由 240 000 个单词组成。例如，如果我有字母 G、I、G、S、N> 和 O 我想选择表中包含所有或部分这些字母(并且没有其他字母)的所有单词。 可接受的词语
我是一名优秀的程序员,十分优秀！