Python:正则表达式分句

Question

有一个简单的分词器，它适用于我需要显示它的测试文件，代码如下:

import re, sys
for line in sys.stdin:
    for token in re.findall("(\w+\.\w+\.[\w.]*|\w+[-.]\w+|[-]+|'s|[,;:.!?\"%']|\w+)", line.strip()):
        print(token)

像这样的文字这所房子很小。那房子很大。正确地变成:

This
house
is
small
.
That
house
is
big
.

但是，我还需要在句子之间插入一个空行:

···
small
.

That
···

所以我又写了一个循环

for token in re.sub("([\"\.!?])\s([\"`]+|[A-Z]+\w*)", "\\1\n\n\\2", line):

使用 regexp 捕获我需要使用的测试文本中几乎所有的断句，但我在实际将它连接到代码时遇到了问题。将它放在第一个 for 循环 中，这对我来说是最合乎逻辑的，但会完全破坏输出。还尝试了一些 if 子句，但这也不起作用。

Answer 1

使用 sent_tokenize() 组合的非正则表达式解决方案和 word_tokenize()来自 nltk:

from nltk.tokenize import word_tokenize, sent_tokenize

s = "This house is small. That house is big."

for t in sent_tokenize(s):
    for word in word_tokenize(t):
        print(word)
    print

打印:

This
house
is
small
.

That
house
is
big
.