python - 如何取消对 spacy.tokens.token.Token 的标记？

Question

如何取消标记此代码的输出？

类(class)核心:

def __init__(self, user_input):
    pos = pop(user_input)
    subject = ""
    for token in pos:
        if token.dep == nsubj:
            subject = untokenize.untokenize(token)
    subject = S(subject)

我试过:
https://pypi.org/project/untokenize/

摩西去 token 器

。加入()

但是我的最后一个代码有这个错误(来自这篇文章):

TypeError: 'spacy.tokens.token.Token' object is not iterable

.join() 的这个错误:

AttributeError: 'spacy.tokens.token.Token' object has no attribute 'join'

对于 MosesDetokenizer:
text = u"{} ".format("".join(tokens))
类型错误:只能加入一个可迭代对象

Answer 1

spacy 中的所有标记都保留其上下文，因此可以重新创建所有文本而不会丢失任何数据。

在您的情况下，您所要做的就是:

''.join([token.text_with_ws for token in doc])

由于属性 text_with_ws如果存在，则具有带有相应空白字符的标记。