python - 文本标记器模式的解释

Question

我想确切地知道使用此标记生成器中的指定模式对文本执行了什么操作:

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'[a-zA-Z]\w+\'?\w*')
text_token = text.apply(tokenizer.tokenize)

其中“text”是 pandas 系列，每一行都是一个句子。

我特别想理解r'[a-zA-Z]\w+\'?\w'*部分。详细信息(每个组件的解释)将不胜感激。

Answer 1

这称为正则表达式或 regex 。在

[a-zA-Z]\w+\'?\w*

• [a-zA-Z] 代表从 a 到 z 或从 A 的单个字符到 Z
• \w+ 匹配任何重复的单词字符，其中 \w 是[a-zA-Z0-9_] 的简写形式和 + 符号允许其重复
• \'? 与字符 ' 字面匹配
• \w* 又是单词字符，重复一次到无限次

例如，字符串 Random01'example 与此表达式匹配。 This site也解释得很好。