作者热门文章
- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我想使用 spacy 来标记维基百科的抓取内容。理想情况下它会像这样工作:
text = 'procedure that arbitrates competing models or hypotheses.[2][3] Researchers also use experimentation to test existing theories or new hypotheses to support or disprove them.[3][4]'
# run spacy
spacy_en = spacy.load("en")
doc = spacy_en(text, disable=['tagger', 'ner'])
tokens = [tok.text.lower() for tok in doc]
# desired output
# tokens = [..., 'models', 'or', 'hypotheses', '.', '[2][3]', 'Researchers', ...
# actual output
# tokens = [..., 'models', 'or', 'hypotheses.[2][3', ']', 'Researchers', ...]
问题在于“假设。[2][3]”被粘合在一起形成一个 token 。
如何防止 spacy 将这个“[2][3]”连接到前一个 token ?只要是从假设这个词和句末的点分开就可以了,我不在乎它是如何处理的。但个别单词和语法应该远离句法噪音。
例如,以下任何一个都是理想的输出:
“假设”、“.”、“[2][”、“3]”
假设'、'.'、'[2'、'][3]'
最佳答案
我认为你可以尝试使用中缀:
import re
import spacy
from spacy.tokenizer import Tokenizer
infix_re = re.compile(r'''[.]''')
def custom_tokenizer(nlp):
return Tokenizer(nlp.vocab, infix_finditer=infix_re.finditer)
nlp = spacy.load('en')
nlp.tokenizer = custom_tokenizer(nlp)
doc = nlp(u"hello-world! I am hypothesis.[2][3]")
print([t.text for t in doc])
更多相关信息https://spacy.io/usage/linguistic-features#native-tokenizers
关于python - spacy 标记化合并了错误的标记,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54359606/
我是一名优秀的程序员,十分优秀!