python - RegexpTokenizer 日文造句-python

Question

我正在尝试使用 RegexpTokenizer 拆分日语句子，但它返回空集。有人能告诉我为什么吗？以及如何拆分日语句子？

#!/usr/bin/python  # -*- encoding: utf-8 -*-

import nltk
import os, sys, re, glob
from nltk.tokenize import RegexpTokenizer

jp_sent_tokenizer = nltk.RegexpTokenizer(u'[^ 「」!?。．）]*[!?。]')

print jp_sent_tokenizer.tokenize ('の各宣言を実行しておく必要があることに注意しよう。これ以下の節では、各スクリプト例の前にこれらがすでに宣言されていることを前提とする。')

上面代码的输出是

[]

Answer 1

我认为您只是缺少一个 unicode u:

print jp_sent_tokenizer.tokenize (u'の各宣言を実行しておく必要があることに注意しよう。これ以下の節では、各スクリプト例の前にこれらがすでに宣言されていることを前提とする。')