作者热门文章
- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
这是一个奇怪的谜题。我从 gutenbergr 下载了 2 篇文章 - 爱丽丝梦游仙境和尤利西斯。停用词从 Alice 中消失,但它们仍在 Ulysses 中。即使将 anti_join 替换为过滤器(!word %in% stop_words$word)。
如何从 Ulysses 中获取停用词?
感谢您的帮助!
Plot of top 15 tf_idf for Alice & Ulysses
library(gutenbergr)
library(dplyr)
library(stringr)
library(tidytext)
library(ggplot2)
titles <- c("Alice's Adventures in Wonderland", "Ulysses")
books <- gutenberg_works(title %in% titles) %>%
gutenberg_download(meta_fields = c("title", "author"))
data(stop_words)
tidy_books <- books %>%
unnest_tokens(word, text) %>%
anti_join(stop_words) %>%
count(title, word, sort=TRUE) %>%
ungroup()
plot_tidy_books <- tidy_books %>%
bind_tf_idf(word, title, n) %>%
arrange(desc(tf_idf)) %>%
mutate(word = factor(word, levels = rev(unique(word)))) %>%
mutate(title = factor(title, levels = unique(title)))
plot_tidy_books %>%
group_by(title) %>%
arrange(desc(n))%>%
top_n(15, tf_idf) %>%
mutate(word=reorder(word, tf_idf)) %>%
ggplot(aes(word, tf_idf, fill=title)) +
geom_col(show.legend = FALSE) +
labs(x=NULL, y="tf-idf") +
facet_wrap(~title, ncol=2, scales="free") +
coord_flip()
最佳答案
在对标记化的 Ulysses 进行一些挖掘之后,文本“it's”实际上使用了右单引号而不是撇号。 tidytext
中的 stop_words
使用撇号。您必须用撇号替换正确的单引号。
我通过以下方式发现了这一点:
> utf8ToInt('it’s')
[1] 105 116 8217 115
谷歌搜索 8217 将我带到 here .从那里获取 C++/Java 源代码 \u2019
并在 anti- 之前添加
。mutate
和 gsub
语句一样简单加入
tidy_books <- books %>%
unnest_tokens(word, text) %>%
mutate(word = gsub("\u2019", "'", word)) %>%
anti_join(stop_words) %>%
count(title, word, sort=TRUE) %>%
ungroup()
结果:
关于R tidytext stop_words 没有从 gutenbergr 下载中一致地过滤,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47209828/
这是一个奇怪的谜题。我从 gutenbergr 下载了 2 篇文章 - 爱丽丝梦游仙境和尤利西斯。停用词从 Alice 中消失,但它们仍在 Ulysses 中。即使将 anti_join 替换为过滤器
我是一名优秀的程序员,十分优秀!