python - 将段落标记为句子，然后在 NLTK 中标记为单词

Question

我正在尝试将整个段落输入到我的文字处理器中，以先拆分成句子，然后再拆分成单词。

我尝试了以下代码，但它不起作用，

    #text is the paragraph input
    sent_text = sent_tokenize(text)
    tokenized_text = word_tokenize(sent_text.split)
    tagged = nltk.pos_tag(tokenized_text)
    print(tagged)

但是这不起作用并给我错误。那么我如何将段落标记为句子然后单词呢？

示例段落:

这东西似乎压倒了这只黑褐色的小狗，让他吃惊，伤到了他的心。他绝望地倒在 child 的脚下。当他重复这一击时，伴随着幼稚句子的警告，他仰面翻了个身，以一种特殊的方式握住了他的爪子。他同时用耳朵和眼睛向 child 祈祷。

**警告:**这只是来自互联网的随机文字，我不拥有以上内容。

Answer 1

您可能打算循环遍历 sent_text:

import nltk

sent_text = nltk.sent_tokenize(text) # this gives us a list of sentences
# now loop over each sentence and tokenize it separately
for sentence in sent_text:
    tokenized_text = nltk.word_tokenize(sentence)
    tagged = nltk.pos_tag(tokenized_text)
    print(tagged)