python - 无法让唯一的单词/短语计数器工作 - Python

Question

我无法在我的输出文件 (word_count.txt) 中写入任何内容。

我希望脚本检查我的 phrases.txt 文档中的所有 500 个短语，并输出所有单词的列表以及它们出现的次数。

    from re import findall,sub
    from os import listdir
    from collections import Counter

    # path to folder containg all the files
    str_dir_folder = '../data'

    # name and location of output file
    str_output_file = '../data/word_count.txt'

    # the list where all the words will be placed
    list_file_data = '../data/phrases.txt'

    # loop through all the files in the directory
    for str_each_file in listdir(str_dir_folder):
        if str_each_file.endswith('data'):

    # open file and read
    with open(str_dir_folder+str_each_file,'r') as file_r_data:
        str_file_data = file_r_data.read()

    # add data to list
    list_file_data.append(str_file_data)

    # clean all the data so that we don't have all the nasty bits in it
    str_full_data = ' '.join(list_file_data)
    str_clean1 = sub('t','',str_full_data)
    str_clean_data = sub('n',' ',str_clean1)

    # find all the words and put them into a list
    list_all_words = findall('w+',str_clean_data)

    # dictionary with all the times a word has been used
    dict_word_count = Counter(list_all_words)

    # put data in a list, ready for output file
    list_output_data = []
    for str_each_item in dict_word_count:
        str_word = str_each_item
        int_freq = dict_word_count[str_each_item]

        str_out_line = '"%s",%d' % (str_word,int_freq)

        # populates output list
        list_output_data.append(str_out_line)

    # create output file, write data, close it
    file_w_output = open(str_output_file,'w')
    file_w_output.write('n'.join(list_output_data))
    file_w_output.close()

任何帮助都会很棒(特别是如果我能够在输出列表中实际输出“单个”单词。

非常感谢。

Answer 1

如果我们获得更多信息(例如您尝试过的操作以及您收到的错误消息类型)，将会很有帮助。正如 kaveh 上面评论的那样，这段代码有一些主要的缩进问题。一旦我解决了这些问题，还有许多其他逻辑错误需要解决。我做了一些假设:

• list_file_data 被分配给 '../data/phrases.txt' 但随后有一个遍历目录中的所有文件。因为你没有任何处理其他地方的多个文件，我删除了该逻辑并引用了list_file_data 中列出的文件(并添加了一点错误处理)。如果你确实想浏览一个目录，我建议使用 os.walk() ( http://www.tutorialspoint.com/python/os_walk.htm )
• 您将文件命名为“pharses.txt”，然后检查文件是否以“数据”结尾。我已经删除了这个逻辑。
• 当 findall 可以很好地处理字符串并忽略您手动删除的特殊字符时，您已将数据集放入列表中。在这里测试: https://regex101.com/确保;确定。
• 将 'w+' 更改为 '\w+' - 查看上面的链接
• 不需要在输出循环之外转换为列表 - 您的 dict_word_count 是一个 Counter 对象，它有一个“iteritems”方法来遍历每个键和值。还将变量名称更改为“counter_word_count”，以便更准确一些。
• 我没有手动生成 csv，而是导入了 csv 并使用了 writerow 方法(和引用选项)

代码如下，希望对你有帮助:

import csv
import os

from collections import Counter
from re import findall,sub


# name and location of output file
str_output_file = '../data/word_count.txt'
# the list where all the words will be placed
list_file_data = '../data/phrases.txt'

if not os.path.exists(list_file_data):
    raise OSError('File {} does not exist.'.format(list_file_data))

with open(list_file_data, 'r') as file_r_data:
    str_file_data = file_r_data.read()
    # find all the words and put them into a list
    list_all_words = findall('\w+',str_file_data)
    # dictionary with all the times a word has been used
    counter_word_count = Counter(list_all_words)

    with open(str_output_file, 'w') as output_file:
        fieldnames = ['word', 'freq']
        writer = csv.writer(output_file, quoting=csv.QUOTE_ALL)
        writer.writerow(fieldnames)

        for key, value in counter_word_count.iteritems():
            output_row = [key, value]
            writer.writerow(output_row)