python-3.x - 使用表情符号肤色修饰符标记句子或推文

Question

我想标记包含多个表情符号的推文，并且它们不是空格分隔的。我都试过了 NLTK TweetTokenizer和 Spacy但他们无法标记表情符号肤色修饰符。这需要应用于庞大的数据集，因此性能可能是一个问题。有什么建议？
您可能需要使用 Firefox 或 Safari 来查看准确的色调表情符号，因为 Chrome 有时无法呈现它!

# NLTK
from nltk.tokenize.casual import TweetTokenizer
sentence = "I'm the most famous emoji 😂😂😂 but what about 👍 and 🚗👍🏼😂👍🏿"
t = TweetTokenizer()
print(t.tokenize(sentence))

# Output
["I'm", 'the', 'most', 'famous', 'emoji', '😂', '😂', '😂', 'but', 'what', 'about', '👍', 'and', '🚗', '👍', '🏼', '😂', '👍', '🏿']

和

# Spacy
import spacy
nlp = spacy.load("en_core_web_sm")
sentence = nlp("I'm the most famous emoji 😂😂😂 but what about 👍 and 🚗👍🏼😂👍🏿")
print([token.text for token in sentence])

Output
['I', "'m", 'the', 'most', 'famous', 'emoji', '😂', '😂', '😂', 'but', 'what', 'about', '👍', 'and', '🚗', '👍', '🏼', '😂', '👍', '🏿']

预期产出

["I'm", 'the', 'most', 'famous', 'emoji', '😂', '😂', '😂', 'but', 'what', 'about', '👍', 'and', '🚗', '👍🏼', '😂', '👍🏿']

Answer 1

您应该尝试使用 spacymoji .它是 spaCy 的扩展和管道组件，可以选择性地将组合表情符号(如肤色修饰符)合并为单个标记。
根据自述文件，您可以执行以下操作:

import spacy
from spacymoji import Emoji

nlp = spacy.load('en')
emoji = Emoji(nlp, merge_spans=True) # this is actually the default
nlp.add_pipe(emoji, first=True)

doc = nlp(...)

那应该这样做。