python - python 和 nltk 的 Utf-8 问题

Question

我有这个小脚本，它基本上只是我为一个更大的程序做的测试。我的编码有问题。当我尝试写入文件时，utf-8 字符(例如 øæå)未正确编码。为什么会这样，我该如何解决这个问题？

#!/usr/bin/python
# -*- coding: utf-8 -*-

import nltk
from nltk.collocations import *

collocations = open('bam.txt', 'w')
bigram_measures = nltk.collocations.BigramAssocMeasures()
tokens = nltk.wordpunct_tokenize("Hei på deg øyerusk, du er meg en gammel dust, neida neida, det er ikke helt sant da."
                                 "Men du, hvorfor så brusk, ikke klut i din susk på en runkete lust")
finder = BigramCollocationFinder.from_words(tokens)
# finder.apply_freq_filter(3)
scored = finder.score_ngrams(bigram_measures.raw_freq)
for i in scored:
    print i[0][0] + ' ' + i[0][1] + ': ' + str(i[1]) + '\n'
    collocations.write(i[0][0] + ' ' + i[0][1] + ': ' + str(i[1]) + '\n')

collocations.close()

Answer 1

问题是 nltk.wordpunct_tokenize 不适用于非 ascii 数据。最好使用 nltk.tokenize.punkt 中的 PunktWordTokenizer。所以导入如下:

from nltk.tokenize.punkt import PunktWordTokenizer as PT

并替换:

tokens = nltk.wordpunct_tokenize("Hei på deg øyerusk, du er meg en gammel dust, neida neida, det er ikke helt sant da."
                             "Men du, hvorfor så brusk, ikke klut i din susk på en runkete lust")

与:

tokens = PT().tokenize("Hei på deg øyerusk, du er meg en gammel dust, neida neida, det er ikke helt sant da." 
                             "Men du, hvorfor så brusk, ikke klut i din susk på en runkete lust")