python - 当用 python 标记阿拉伯文本时，我得到奇怪的结果？

Question

我一直在与 NLTK 合作进行一项研究，以标记化阿拉伯语文本并对其进行分析。问题是当我执行此代码时:

bsm = 'بسم الله الرحمن الريحم'
wordsBsm = nltk.tokenize.wordpunct_tokenize(anas)
print " ".join(wordsBsm)

我明白了:

� � س� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �

我不知道如何解决这个问题!

Answer 1

如果您使用的是 Python 2.x，那么正如 bobince 所说，这应该可行:

bsm = u'بسم الله الرحمن الريحم'

如果您使用的是 Python 3.x，那么它应该可以工作而无需将“u”放在那里。看看Python 2's Unicode HOWTO了解更多详情。