gpt4 book ai didi

python - 将段落标记为句子,然后在 NLTK 中标记为单词

转载 作者:IT老高 更新时间:2023-10-28 22:12:10 27 4
gpt4 key购买 nike

我正在尝试将整个段落输入到我的文字处理器中,以先拆分成句子,然后再拆分成单词。

我尝试了以下代码,但它不起作用,

    #text is the paragraph input
sent_text = sent_tokenize(text)
tokenized_text = word_tokenize(sent_text.split)
tagged = nltk.pos_tag(tokenized_text)
print(tagged)

但是这不起作用并给我错误。那么我如何将段落标记为句子然后单词呢?

示例段落:

这东西似乎压倒了这只黑褐色的小狗,让他吃惊,伤到了他的心。他绝望地倒在 child 的脚下。当他重复这一击时,伴随着幼稚句子的警告,他仰面翻了个身,以一种特殊的方式握住了他的爪子。他同时用耳朵和眼睛向 child 祈祷。

**警告:**这只是来自互联网的随机文字,我不拥有以上内容。

最佳答案

您可能打算循环遍历 sent_text:

import nltk

sent_text = nltk.sent_tokenize(text) # this gives us a list of sentences
# now loop over each sentence and tokenize it separately
for sentence in sent_text:
tokenized_text = nltk.word_tokenize(sentence)
tagged = nltk.pos_tag(tokenized_text)
print(tagged)

关于python - 将段落标记为句子,然后在 NLTK 中标记为单词,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37605710/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com