python - 从大型 .csv 文件中删除格式错误的记录

Question

我有一个很大的 .csv 文件，我想用 python 脚本处理它，并找到所有“格式错误”的值，例如那些比标题数量多或少的值，并消除它们。

执行此操作的最佳方法是什么？

Answer 1

这是一个基本的例子:

num_headers = 5
with open("input.csv", 'r') as file_in, open("output.csv", 'w') as file_out:
    for i, line in enumerate(file_in):
        if len(line.split(",")) == num_headers:
            file_out.write(line)
        else:
            print "line %d is malformed" % i

或者使用 csv 模块(对于不同类型的 CSV 格式更灵活):

import csv
num_headers = 5
with open("input.csv", 'r') as file_in, open("output.csv", 'w') as file_out:
    csv_in = csv.reader(file_in)
    csv_out = csv.writer(file_out)
    for i, row in enumerate(csv_in):
        if len(row) == num_headers:
            csv_out.writerow(row)
        else:
            print "line %d is malformed" % i