- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在阅读《使用 Python 进行自然语言处理》一书的第 6 章 ( http://www.nltk.org/book/ch06.html )
我正在尝试使用 cess_esp 语料库复制句子切分的实验。我逐行跟踪代码,它似乎有效,直到我尝试使用它来分段我自己的文本。
>>> import nltk
>>> from nltk.corpus import cess_esp
>>> sentences = cess_esp.sents()
>>> tokens = []
>>> boundaries = set()
>>> offset = 0
>>> for sent in sentences:
tokens.extend(sent)
offset += len(sent)
boundaries.add(offset-1)
>>> def punct_features(tokens,i):
return {'next-word-capitalized': tokens[i+1][0].isupper(),
'prev-word': tokens[i-1].lower(),
'punct': tokens[i],
'prev-word-is-one-char': len(tokens[i-1]) == 1}
>>> featureset = [(punct_features(tokens, i), (i in boundaries))
for i in range(1, len(tokens)-1)
if tokens[i] in '.?!']
>>> size = int(len(featureset) * 0.1)
>>> train_set, test_set = featureset[size:], featureset[:size]
>>> classifier = nltk.NaiveBayesClassifier.train(train_set)
>>> nltk.classify.accuracy(classifier, test_set)
0.9983388704318937
到目前为止一切顺利。但是当我尝试使用该函数来分段文本时,出现错误。
def segment_sentences(words):
start = 0
sents = []
for i, word in enumerate(words):
if word in '.?!' and classifier.classify(punct_features(words, i)) == True:
sents.append(words[start:i+1])
start = i+1
if start < len(words):
sents.append(words[start:])
return sents
new_text = ['En', 'un', 'lugar', 'de', 'la', 'Mancha', ',', 'de', 'cuyo', 'nombre', 'no', 'quiero', 'acordarme', ',', 'no', 'ha', 'mucho', 'tiempo', 'que', 'vivía', 'un', 'hidalgo', 'de', 'los', 'de', 'lanza', 'en', 'astillero', ',', 'adarga', 'antigua', ',', 'rocín', 'flaco', 'y', 'galgo', 'corredor', '.', 'Una', 'olla', 'de', 'algo', 'más', 'vaca', 'que', 'carnero', ',', 'salpicón', 'las', 'más', 'noches', ',', 'duelos', 'y', 'quebrantos', 'los', 'sábados', ',', 'lantejas', 'los', 'viernes', ',', 'algún', 'palomino', 'de', 'añadidura', 'los', 'domingos', ',', 'consumían', 'las', 'tres', 'partes', 'de', 'su', 'hacienda', '.', 'El', 'resto', 'della', 'concluían', 'sayo', 'de', 'velarte', ',', 'calzas', 'de', 'velludo', 'para', 'las', 'fiestas', ',', 'con', 'sus', 'pantuflos', 'de', 'lo', 'mesmo', ',', 'y', 'los', 'días', 'de', 'entresemana', 'se', 'honraba', 'con', 'su', 'vellorí', 'de', 'lo', 'más', 'fino', '.']
segment_sentences(new_text)
Traceback (most recent call last):
File "<pyshell#31>", line 1, in <module>
segment_sentences(texto)
File "<pyshell#26>", line 5, in segment_sentences
if word in '.?!' and classifier.classify(punct_features(words, i)) == True:
File "<pyshell#16>", line 2, in punct_features
return {'next-word-capitalized': tokens[i+1][0].isupper(),
IndexError: list index out of range
我一直在调整一些数字,看看是否可以修复索引超出范围的错误,但它不起作用。
感谢任何帮助
最佳答案
看起来您需要循环 enumerate(words[:-1])
而不是 enumerate(words)
。
正如您所写的那样,您正在对列表中的最后一个单词调用punct_features(words, i)
。当列表中最后一个单词的索引 (i
) 传递给 punct_features()
时,您将尝试访问 words[i+1]
(如 tokens[i+1]
。由于 words
中只有 i
项,因此您会收到 IndexError
.
关于python - NLTK 句子边界错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37299003/
NLTK 感知器标记器的标记集是什么?预训练模型使用的语料库是什么? 我试图从NLTK网站上找到官方信息。但他们没有那个。 最佳答案 来自 https://github.com/nltk/nltk/p
我无法理解这两者之间的区别。不过,我了解到word_tokenize将Penn-Treebank用于标记化目的。但TweetTokenizer上的任何内容都不可用。对于哪种类型的数据,我应该使用Twe
我正在学习 NLTK 和我的 mac 工作正常,除非我在 FreqDist() 上遇到问题。 (我看到另一个关于 FreqDist() 的问题,但他收到了不同的错误消息。TypeError: unha
我尝试了正则表达式词干分析器,但我得到了数百个不相关的标记。我只是对“播放”词干感兴趣。这是我正在使用的代码: import nltk from nltk.book import * f = open
我正在尝试使用 NLTK 命名实体标记器来识别各种命名实体。在使用 Python 进行自然语言处理一书中,他们提供了常用命名实体的列表(表 7.4,如果有人好奇的话),其中包括:日期 6 月,2008
我有很多文本数据,我想进行分类。我逐 block 递增地获取这些数据(例如 500 个样本)。我想用这些 block 在 NLTK 中对 NaiveBayesClassifier 进行训练,但要进行零
我在尝试运行实体提取功能时遇到问题。我相信这是版本差异。以下工作示例在 2.0.4 中运行,但不在 3.0 中运行。我确实将一个函数调用:batch_ne_chunk 更改为:nltk.ne_chun
我正在使用 docker 运行一个使用 nltk、languagetool 等的 NLP 系统... 当我使用 docker-compose build --build-arg env=dev我收到警
我正在检查 NLTK 的命名实体识别功能。是否可以找出提取出的哪个关键字与原文最相关?另外,是否可以知道提取的关键字的类型(人/组织)? 最佳答案 如果你有一个训练有素的标注器,你可以先标注你的文本,
我用过这个代码: # Step 1 : TOKENIZE from nltk.tokenize import * words = word_tokenize(text) # Step 2 : POS
当我运行 nltk.gaac.demo() 时 如果我错过了什么,你能帮我吗?我收到以下错误。 我使用的是nltk 3.0.1 Python 3.4.1 (v3.4.1:c0e311e010fc, M
我刚刚读了一篇关于如何使用 MALLET 进行主题建模的精彩文章,但我在网上找不到任何将 MALLET 与 NLTK 进行比较的内容,而我已经有过一些经验。 它们之间的主要区别是什么? MALLET
我试过这个,但它不起作用 from nltk.corpus import stopwords stopwords_list = stopwords.words('arabic') print(stop
我正在构建一个同时使用 NLTK 和 Spacy 的应用程序,并通过 Poetry 管理依赖项。我可以通过将此行添加到我的 pyproject.toml 来下载 Spacy 数据。下 [tool.po
我正在尝试使用 RegexpTokenizer 对文本进行分词。 代码: from nltk.tokenize import RegexpTokenizer #from nltk.tokenize i
我很好奇是否有人熟悉使用 NLTK's BLEU score calculation 之间的区别和 SacreBLEU library . 特别是,我使用了两个库的句子 BLEU 分数,对整个数据集进
我正在使用 nltk.word_tokenize用于标记一些包含编程语言、框架等的句子,这些句子被错误标记。 例如: >>> tokenize.word_tokenize("I work with C
我无法理解两者之间的区别。不过,我开始知道 word_tokenize 使用 Penn-Treebank 进行标记化。但是 TweetTokenizer 上没有任何内容可用。对于哪种数据,我应该使用
我需要对多种语言的文本进行名称实体提取:西类牙语、葡萄牙语、希腊语、捷克语、中文。 是否有这两个功能的所有支持语言的列表?是否有使用其他语料库的方法,以便可以包含这些语言? 最佳答案 默认情况下,这两
我是 python 的新手并使用 nltk,所以实际上我有一个非常基本的问题,但在任何地方都找不到答案。 我想知道什么时候在 nltk 模块的函数之前使用 nltk.。我正在处理一些任务,在某些情况下
我是一名优秀的程序员,十分优秀!