Python 2.x - 如何通过trainSet和testSet获取NLTK朴素贝叶斯分类的结果

Question

我正在构建一个文本解析器来识别包含文本的犯罪类型。我的类(class)是为了加载 2 个 csv 文件的文本(一个用于训练的文件和一个用于测试的文件)而构建的。我的类(class)中的方法的构建方式是为了在文本中进行快速处理、删除停用词、提取特征向量等等。请按照下面的代码操作。

import re
import codecs
import csv
import nltk
import sklearn
from sklearn import cross_validation
import pandas as pd


# variaveis
tweets = []
caracteristicas = []
testBase = []
testset = []

# Tweet pre-processing
def preProcessamentoText(tweet):
    # converte para minusculas
    tweet = tweet.lower()

    # remove URLs (www.* ou https?://*)
    tweet = re.sub('((www\.[^\s]+)|(https?://[^\s]+))','URL',tweet)

    # remove @username
    tweet = re.sub('@[^\s]+','AT_USER',tweet)

    # remove multiplos espacos em brancos
    tweet = re.sub('[\s]+', ' ', tweet)

    # substitui #work por work
    tweet = re.sub(r'#([^\s]+)', r'\1', tweet)

    # trim
    tweet = tweet.strip('\'"')

    return tweet
#end

# list of stopWords
def getStopWords(stopWordListFileName):

    stopWords = []
    stopWords = nltk.corpus.stopwords.words('portuguese')
    stopWords.append('AT_USER')
    stopWords.append('URL')

    fp = codecs.open(stopWordListFileName, encoding='utf-8')
    line = fp.readline()
    while line:
        word = line.strip()
        stopWords.append(word)
        line = fp.readline()
    fp.close()

    return stopWords
#end

# Remove repeat letters. Ex.: leeeeento = lento
def removeRepeticao(s):
    pattern = re.compile(r"(.)\1{1,}", re.DOTALL)
    return pattern.sub(r"\1\1", s)
#end

# Feature vector
def getVetorCaracteristicas(tweet):

    featureVector = []
    stopWords = getStopWords('data/stopwords_pt-BR.txt')
    words = tweet.split()
    for w in words:

        # remove letras repetidas
        w = removeRepeticao(w)

        # remove sinais de pontuacao
        w = w.strip('\'"?,.')

        # verifica se a palavra inicia com numero
        val = re.search(r"^[a-zA-Z][a-zA-Z0-9]*$", w)

        # não adiciona se a palavra já existe na lista
        # ou se a palavra começa com número
        # ou tem tamanha menos que 2
        if(w in stopWords or val is None or len(w) <= 2):
            continue
        else:
            featureVector.append(w.lower())

    return featureVector
#end

#load trainset
def carregarTextos():

    global caracteristicas

    inpTexts = csv.reader(open('data/baseTreino.csv', 'rb'), delimiter=',', quotechar='|')
    for row in inpTexts:
        #print row
        sentimento = row[0]
        tweet = row[1]
        textoProcessado = preProcessamentoText(tweet)
        vetorCaracteristicas = getVetorCaracteristicas(textoProcessado)
        caracteristicas.extend(vetorCaracteristicas)
        tweets.append((vetorCaracteristicas,sentimento))
        #print tweets
    #end loop

    # remove entradas duplicadas
    caracteristicas = list(set(caracteristicas))

#load testSet
def test_set():
    global testBase

    #Lendo o conjunto de testes
    testTexts = csv.reader(open('data/baseTestes.csv', 'rb'), delimiter=',', quotechar='|')
    for row in testTexts:
        #print row
        sentimento = row[0]
        tweet = row[1]
        textoProcessado = preProcessamentoText(tweet)
        vetorCaracteristicas = getVetorCaracteristicas(textoProcessado)
        testBase.extend(vetorCaracteristicas)
        testset.append((vetorCaracteristicas,sentimento))
        #print testset

    testBase = list(set(testBase))

#Extraction of characteristics
def extracaoCaracteristicas(tweet):

    #print tweet

    palavras = set(tweet)
    lista = {}
    for palavra in caracteristicas:
        lista['contains(%s)' % palavra] = (palavra in palavras)
    #end loop
    return lista

#Method to classify the text according to the feeling
def classificaTexto(tweet):

    textoProcessado = preProcessamentoText(tweet)
    result = NBClassifier.classify(extracaoCaracteristicas(getVetorCaracteristicas(textoProcessado)))

    #print result
    if (result == 4) :
        print 'Crime não categorizado - ' + tweet
    elif (result == 1):
        print 'Roubo - ' + tweet
    elif(result == 2):
        print 'Homicídio - ' + tweet
    elif(result== 3):
        print 'Tráfico - ' + tweet
    else :
        print 'Não representa um crime - ' + tweet


# Main function
if __name__ == '__main__':
    #load the 2 set (train and test)
    carregarTextos()
    test_set()

    # Extract the feature vector of all tweets in one go
    conjuntoTreino = nltk.classify.util.apply_features(extracaoCaracteristicas, tweets)
    conjuntoTeste = nltk.classify.util.apply_features(extracaoCaracteristicas,testset)

    # Train the classifier
    #NBClassifier = nltk.NaiveBayesClassifier.train(conjuntoTreino)
    #print 'accuracy:', (nltk.classify.util.accuracy(NBClassifier, conjuntoTeste))

    #CrossValidation - Using ScikitLearn and NLTK
    cv = cross_validation.KFold(len(conjuntoTreino), n_folds=10, shuffle=False, random_state=None)
    for traincv, testcv in cv:
        classifier = nltk.NaiveBayesClassifier.train(conjuntoTreino[traincv[0]:traincv[len(traincv)-1]])
        print 'accuracy:', nltk.classify.util.accuracy(classifier, conjuntoTreino[testcv[0]:testcv[len(testcv)-1]])

在 Main 上，我使用普通的朴素贝叶斯并查看其准确性，然后使用交叉验证的朴素贝叶斯并查看其准确性。现在我想测试已经在包含测试文本的 CSV 上训练过的朴素贝叶斯。如果有的话，请在测试基础上测试排序。

我的方法def classificaTexto(tweet):。只是为了完成这项工作，但我什至无法将它与已经训练过的分类器一起使用。如果我创建一个文本为

texto1 = 'Enviado por um seguidor: Carro roubado no conjunto Augusto Franco'
classificaTexto(texto1)

该方法将完成其工作并进行排序。

附加信息:我的csv就是这样形成的。一个例子:其中文本前面的数字代表犯罪小组。这样做是为了可以使用该方法 def classificaTexto(tweet):

|1|,|Enviado por um seguidor :Exclusivo.Bom dia.2 caras vestidos de palhaços ontem a noite roubaram as armas dos guardas municipais que faziam a segurança do posto médico aqui no bairro Coroa do Meio!! Polícia nas ruas a procura dos marginais !!!  Surreal isso...|,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
|2|,|Enviado por um seguidor :Segundo informações acaba de acontecer um homicídio na cidade de Malhador no povoado Boqueval \,vítima de pré nome Ronaldo.|,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

Answer 1

您只需从调用 train() 的同一对象中调用 classify() 方法即可。一种方法是将对象作为方法的参数传递:

#Method to classify the text according to the feeling
def classificaTexto(nbc, tweet):

    textoProcessado = preProcessamentoText(tweet)
    result = nbc.classify(extracaoCaracteristicas(getVetorCaracteristicas(textoProcessado)))

    #print result
    if (result == 4) :
        print 'Crime não categorizado - ' + tweet
    elif (result == 1):
        print 'Roubo - ' + tweet
    elif(result == 2):
        print 'Homicídio - ' + tweet
    elif(result== 3):
        print 'Tráfico - ' + tweet
    else :
        print 'Não representa um crime - ' + tweet

那么你应该可以像这样使用它:

# Main function
if __name__ == '__main__':
    #load the 2 set (train and test)
    carregarTextos()
    test_set()

    # Extract the feature vector of all tweets in one go
    conjuntoTreino = nltk.classify.util.apply_features(extracaoCaracteristicas, tweets)

    # Train the classifier
    NBClassifier = nltk.NaiveBayesClassifier.train(conjuntoTreino)

    # Classify tweet
    texto1 = 'Enviado por um seguidor: Carro roubado no conjunto Augusto Franco'
    classificaTexto(NBClassifier, texto1)

更新

如果您想对nltk.classify.util.apply_features()的输出进行分类，您可以稍微修改classificaTexto():

def classificaTexto(nbc, data):

    for features in data:
        result = nbc.classify(features)
        #print result
        if (result == 4) :
            print 'Crime não categorizado - ' + tweet
        elif (result == 1):
            print 'Roubo - ' + tweet
        elif(result == 2):
            print 'Homicídio - ' + tweet
        elif(result== 3):
            print 'Tráfico - ' + tweet
        else :
            print 'Não representa um crime - ' + tweet

并像这样使用它:

# Main function
if __name__ == '__main__':
    #load the 2 set (train and test)
    carregarTextos()
    test_set()

    # Extract the feature vector of all tweets in one go
    conjuntoTreino = nltk.classify.util.apply_features(extracaoCaracteristicas, tweets)
    conjuntoTeste = nltk.classify.util.apply_features(extracaoCaracteristicas,testset)

    # Train the classifier
    NBClassifier = nltk.NaiveBayesClassifier.train(conjuntoTreino)

    # Classify testset    
    classificaTexto(NBClassifier, conjuntoTeste)

you can also use results = nbc.classify_many(data) if you wish to immediately store the results in a list