python - python中重复的csv文件的条件过滤

Question

我是 python 新手，需要以下方面的一些建议。我有一个包含多个字段的文件，示例如下

# with duplicates
name1 14019 3 0.5564 0.0929 0.6494
name1 14022 0 0.5557 0.0990 0.6547
name1 14016 0 0.5511 0.0984 0.6495
name2 11 8 0.5119 0.0938 0.6057
name2 12 18 0.5331 0.0876 0.6206
name3 16 20 0.5172 0.0875 0.6047
name3 17 29 0.5441 0.0657 0.6098
# without duplicates
name1 14022 0 0.5557 0.0990 0.6547
name2 12 18 0.5331 0.0876 0.6206
name3 17 29 0.5441 0.0657 0.6098

第一个是名称，其他字段是数字(来自预测)。存在具有相同名称但不同预测的重复预测。我的任务是根据最后一个字段的比较删除重复项。应选取最后一列中具有 MAXIMUM 的行。

我正在比较重复条目的最后一个字段的步骤。我应该使用 lambda 还是可以直接过滤？列表的使用是否正确，或者可以在从文件中逐行读取时在流程上执行此操作？

非常感谢您帮助我们!

import csv

fi = open("filein.txt", "rb")
fo = open("fileout.txt", "wb")

reader = csv.reader(fi,delimiter=' ')
writer = csv.writer(fo,delimiter=' ')

names = set()
datum = []
datum2 = []

for row in reader:
  if row[0] not in names:
    names.add(row[0])
    row_new1 = [row[0],row[3],row[4],row[5]]
    datum.append(row_new)
    writer1.writerow(row_new1)
  else:
    row_new2 = [row[0],row[3],row[4],row[5]]
    datum2.append(row_new2)
    writer2.writerow(row_new2)

Answer 1

下面的代码可能有用，我使用字典完成的:

import csv

fi = open("filein.txt", "rb")
reader = csv.reader(fi,delimiter=' ')

dict = {}
for row in reader:
    if row[0] in dict:
        if float(dict[row[0]][-1]) < float(row[-1]):
            dict[row[0]] = row[1:]
    else:
        dict[row[0]] = row[1:]
print dict

输出:

{'name2': ['12', '18', '0.5331', '0.0876', '0.6206'], 'name3': ['17', '29', '0.5441', '0.0657', '0.6098'], 'name1': ['14022', '0', '0.5557', '0.0990', '0.6547']}