python - 我需要读取 CSV 文件，然后写入一个包含 0 个重复项的新 CSV 文件

Question

我有一个包含一些数据的 CSV 文件，我需要写入新的 CSV，但不能有重复的条目。

我已经解决了写作部分，但我无法解决重复部分。到目前为止，我已经尝试过嵌套循环，但成功率为 0。

这有效，但有重复

with open('somefile.csv', 'w') as csvfile:
        filewriter = csv.writer(csvfile, delimiter=',', quotechar='|', quoting=csv.QUOTE_MINIMAL)
        filewriter.writerow(['Data', 'MoreData', 'EvenMoreData'])

        for row in rows:
    # parsing each column of a row  
            filewriter.writerow([row[3], row[4], row[2]])

一切都出错的地方

   for row in rows:
    # parsing each column of a row  
            for copy in rows:
                if row[3] != copy[3] and row[2] != copy[2]:
                    filewriter.writerow([copy[3], copy[4], copy[2]])

Answer 1

您可以使用一组键元组(在您的情况下为 row[2] 和 row[3])来跟踪您已经看到的键:

seen = set()
for row in rows:
    if (row[2], row[3]) not in seen:
        seen.add((row[2], row[3]))
        filewriter.writerow([row[3], row[4], row[2]])