gpt4 book ai didi

python - nltk.TweetTokenizer 与 nltk.word_tokenize 有何不同?

转载 作者:行者123 更新时间:2023-12-03 15:48:26 32 4
gpt4 key购买 nike

我无法理解两者之间的区别。不过,我开始知道 word_tokenize 使用 Penn-Treebank 进行标记化。但是 TweetTokenizer 上没有任何内容可用。对于哪种数据,我应该使用 TweetTokenizer 而不是 word_tokenize?

最佳答案

好吧,两个分词器的工作方式几乎相同,将给定的句子拆分为单词。但是你可以想到TweetTokenizer作为 word_tokenize 的子集. TweetTokenizer保持主题标签完整,同时 word_tokenize没有。
我希望下面的例子能解决你所有的疑虑......

from nltk.tokenize import TweetTokenizer
from nltk.tokenize import word_tokenize
tt = TweetTokenizer()
tweet = "This is a cooool #dummysmiley: :-) :-P <3 and some arrows < > -> <-- @remy: This is waaaaayyyy too much for you!!!!!!"
print(tt.tokenize(tweet))
print(word_tokenize(tweet))

# output
# ['This', 'is', 'a', 'cooool', '#dummysmiley', ':', ':-)', ':-P', '<3', 'and', 'some', 'arrows', '<', '>', '->', '<--', '@remy', ':', 'This', 'is', 'waaaaayyyy', 'too', 'much', 'for', 'you', '!', '!', '!']
# ['This', 'is', 'a', 'cooool', '#', 'dummysmiley', ':', ':', '-', ')', ':', '-P', '<', '3', 'and', 'some', 'arrows', '<', '>', '-', '>', '<', '--', '@', 'remy', ':', 'This', 'is', 'waaaaayyyy', 'too', 'much', 'for', 'you', '!', '!', '!', '!', '!', '!']
你可以看到 word_tokenize已拆分 #dummysmiley'#''dummysmiley' ,而 TweetTokenizer 没有,如 '#dummysmiley' . TweetTokenizer主要用于分析推文。
您可以从此 link 了解有关分词器的更多信息

关于python - nltk.TweetTokenizer 与 nltk.word_tokenize 有何不同?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61919670/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com