csv - 基于两列删除csv文件中的重复项？

Question

我有一个必须读取的 CSV 文件，并且在写入之前删除了重复值。

重复值将基于两列(日期、价格)(AND 条件语句)。因此，在下面的示例中，第 1 行、第 2 行和第 4 行将写入 CSV。第 3 行将符合重复条件(因为相同的日期和价格与第 1 行匹配)并且将被排除(不写入 CSV)。

address      floor       date         price
40 B STREET    18        3/29/2015    2200000
40 B STREET    23        1/7/2015     999000
40 B STREET    18        3/29/2015    2200000
40 B STREET    18        4/29/2015    2200000

Answer 1

您可以使用 DictReader和 DictWriter来完成你的任务。

import csv

def main():
"""Read csv file, delete duplicates and write it."""
    with open('test.csv', 'r',newline='') as inputfile:
        with open('testout.csv', 'w', newline='') as outputfile:
            duplicatereader = csv.DictReader(inputfile, delimiter=',')
            uniquewrite = csv.DictWriter(outputfile, fieldnames=['address', 'floor', 'date', 'price'], delimiter=',')
            uniquewrite.writeheader()
            keysread = []
            for row in duplicatereader:
               key = (row['date'], row['price'])
               if key not in keysread:
                   print(row)
                   keysread.append(key)
                   uniquewrite.writerow(row)

if __name__ == '__main__':
    main()