39
4
I am unable to understand the difference between the two. Though, I come to know that word_tokenize uses Penn-Treebank for tokenization purposes. But nothing on TweetTokenizer is available. For which sort of data should I be using TweetTokenizer over word_tokenize?
我无法理解这两者之间的区别。不过，我了解到word_tokenize将Penn-Treebank用于标记化目的。但TweetTokenizer上的任何内容都不可用。对于哪种类型的数据，我应该使用TweetTokenizer而不是word_tokenize？
Well, both tokenizers almost work the same way, to split a given sentence into words. But you can think of TweetTokenizer as a subset of word_tokenize. TweetTokenizer keeps hashtags intact while word_tokenize doesn't.
嗯，这两个标记器的工作方式几乎相同，都是将给定的句子拆分成单词。但您可以将TweetTokenizer视为WORD_TOKENIZE的子集。TweetTokenizer保持标签不变，而word_tokenize不保持不变。
I hope the below example will clear all your doubts...
我希望下面的例子能消除你所有的疑虑。
个人中心
文章发布
退出from nltk.tokenize import TweetTokenizer
from nltk.tokenize import word_tokenize
tt = TweetTokenizer()
tweet = "This is a cooool #dummysmiley: :-) :-P <3 and some arrows < > -> <-- @remy: This is waaaaayyyy too much for you!!!!!!"
print(tt.tokenize(tweet))
print(word_tokenize(tweet))
# output
# ['This', 'is', 'a', 'cooool', '#dummysmiley', ':', ':-)', ':-P', '<3', 'and', 'some', 'arrows', '<', '>', '->', '<--', '@remy', ':', 'This', 'is', 'waaaaayyyy', 'too', 'much', 'for', 'you', '!', '!', '!']
# ['This', 'is', 'a', 'cooool', '#', 'dummysmiley', ':', ':', '-', ')', ':', '-P', '<', '3', 'and', 'some', 'arrows', '<', '>', '-', '>', '<', '--', '@', 'remy', ':', 'This', 'is', 'waaaaayyyy', 'too', 'much', 'for', 'you', '!', '!', '!', '!', '!', '!']
You can see that word_tokenize has split #dummysmiley as '#' and 'dummysmiley', while TweetTokenizer didn't, as '#dummysmiley'. TweetTokenizer is built mainly for analyzing tweets.
You can learn more about tokenizer from this link
您可以看到word_tokenize将#ummysmiley拆分为‘#’和‘ummysmiley’，而TweetTokenizer没有拆分为‘#ummysmiley’。TweetTokenizer主要是为分析推文而构建的。您可以通过此链接了解有关标记器的更多信息
It also seems to deal differently with abbreviated negations ("isn't" for example):
它对缩写否定的处理似乎也不同(例如，“is‘t”)：
from nltk.tokenize import (TweetTokenizer,
wordpunct_tokenize,)
text = "The quick brown fox isn't jumping over the lazy dog, co-founder
multi-word expression. #yes!"
standard_nltk = word_tokenize(text)
print(standard_nltk)
# output: ['The', 'quick', 'brown', 'fox', 'is', "n't", 'jumping', 'over',
# 'the', 'lazy', 'dog', ',', 'co-founder', 'multi-word', 'expression', '.',
# '#', 'yes', '!']
twitter_nltk = tweet_tokenizer.tokenize(text)
print(twitter_nltk)
# output: ['The', 'quick', 'brown', 'fox', "isn't", 'jumping', 'over',
# 'the', 'lazy', 'dog', ',', 'co-founder', 'multi-word', 'expression', '.',
# '#yes', '!']
In addition to this answer, aonther great tutorial on TweetTokenizer can also be found here and focuses on problems with tokenizing social media data.
除了这个答案，关于TweetTokenizer的另一个很棒的教程也可以在这里找到，它专注于对社交媒体数据进行标记化的问题。
39
4
0
NLTK 感知器标记器的标记集是什么？预训练模型使用的语料库是什么？ 我试图从NLTK网站上找到官方信息。但他们没有那个。 最佳答案 来自 https://github.com/nltk/nltk/p
我无法理解这两者之间的区别。不过，我了解到word_tokenize将Penn-Treebank用于标记化目的。但TweetTokenizer上的任何内容都不可用。对于哪种类型的数据，我应该使用Twe
我正在学习 NLTK 和我的 mac 工作正常，除非我在 FreqDist() 上遇到问题。 (我看到另一个关于 FreqDist() 的问题，但他收到了不同的错误消息。TypeError: unha
我尝试了正则表达式词干分析器，但我得到了数百个不相关的标记。我只是对“播放”词干感兴趣。这是我正在使用的代码: import nltk from nltk.book import * f = open
我正在尝试使用 NLTK 命名实体标记器来识别各种命名实体。在使用 Python 进行自然语言处理一书中，他们提供了常用命名实体的列表(表 7.4，如果有人好奇的话)，其中包括:日期 6 月，2008
我有很多文本数据，我想进行分类。我逐 block 递增地获取这些数据(例如 500 个样本)。我想用这些 block 在 NLTK 中对 NaiveBayesClassifier 进行训练，但要进行零
我在尝试运行实体提取功能时遇到问题。我相信这是版本差异。以下工作示例在 2.0.4 中运行，但不在 3.0 中运行。我确实将一个函数调用:batch_ne_chunk 更改为:nltk.ne_chun
我正在使用 docker 运行一个使用 nltk、languagetool 等的 NLP 系统... 当我使用 docker-compose build --build-arg env=dev我收到警
我正在检查 NLTK 的命名实体识别功能。是否可以找出提取出的哪个关键字与原文最相关？另外，是否可以知道提取的关键字的类型(人/组织)？ 最佳答案 如果你有一个训练有素的标注器，你可以先标注你的文本，
我用过这个代码: # Step 1 : TOKENIZE from nltk.tokenize import * words = word_tokenize(text) # Step 2 : POS
当我运行 nltk.gaac.demo() 时 如果我错过了什么，你能帮我吗？我收到以下错误。 我使用的是nltk 3.0.1 Python 3.4.1 (v3.4.1:c0e311e010fc, M
我刚刚读了一篇关于如何使用 MALLET 进行主题建模的精彩文章，但我在网上找不到任何将 MALLET 与 NLTK 进行比较的内容，而我已经有过一些经验。 它们之间的主要区别是什么？ MALLET
我试过这个，但它不起作用 from nltk.corpus import stopwords stopwords_list = stopwords.words('arabic') print(stop
我正在构建一个同时使用 NLTK 和 Spacy 的应用程序，并通过 Poetry 管理依赖项。我可以通过将此行添加到我的 pyproject.toml 来下载 Spacy 数据。下 [tool.po
我正在尝试使用 RegexpTokenizer 对文本进行分词。 代码: from nltk.tokenize import RegexpTokenizer #from nltk.tokenize i
我很好奇是否有人熟悉使用 NLTK's BLEU score calculation 之间的区别和 SacreBLEU library . 特别是，我使用了两个库的句子 BLEU 分数，对整个数据集进
我正在使用 nltk.word_tokenize用于标记一些包含编程语言、框架等的句子，这些句子被错误标记。 例如: >>> tokenize.word_tokenize("I work with C
我无法理解两者之间的区别。不过，我开始知道 word_tokenize 使用 Penn-Treebank 进行标记化。但是 TweetTokenizer 上没有任何内容可用。对于哪种数据，我应该使用
我需要对多种语言的文本进行名称实体提取:西类牙语、葡萄牙语、希腊语、捷克语、中文。 是否有这两个功能的所有支持语言的列表？是否有使用其他语料库的方法，以便可以包含这些语言？ 最佳答案 默认情况下，这两
我是 python 的新手并使用 nltk，所以实际上我有一个非常基本的问题，但在任何地方都找不到答案。 我想知道什么时候在 nltk 模块的函数之前使用 nltk.。我正在处理一些任务，在某些情况下
我是一名优秀的程序员,十分优秀！