gpt4 book ai didi

python - 代码运行缓慢 - python 中的性能问题

转载 作者:行者123 更新时间:2023-12-05 08:29:31 24 4
gpt4 key购买 nike

我有一个文件,其中有 4 列,带有分隔值。我只需要第一列,所以我读取了文件,然后将该行拆分、分隔并将其存储在一个名为 first_file_list 的列表变量中。

我有另一个文件,其中有 6 列,带有分隔值。我的要求是读取文件第一行的第一列,并检查字符串是否存在于名为 first_file_list 的列表中。如果存在,则将该行复制到新文件。

我的第一个文件有大约。 600 万条记录和第二个文件有大约。 450 万条记录。只是为了检查我的代码而不是 450 万的性能,我在第二个文件中只放了 100k 条记录,处理这 100k 条记录的代码大约需要。 2.5 小时。

以下是我对此的逻辑:

first_file_list = []

with open("c:\first_file.csv") as first_f:
next(first_f) # Ignoring first row as it is header and I don't need that
temp = first_f.readlines()
for x in temp:
first_file_list.append(x.split(',')[0])
first_f.close()

with open("c:\second_file.csv") as second_f:
next(second_f)
second_file_co = second_f.readlines()
second_f.close()

out_file = open("c:\output_file.csv", "a")
for x in second_file_co:
if x.split(',')[0] in first_file_list:
out_file.write(x)
out_file.close()

能否请您帮助我了解我在这里做错了什么,以至于我的代码需要这么多时间来比较 10 万条记录?或者您能否建议在 Python 中执行此操作的更好方法。

最佳答案

使用set 进行快速成员资格检查。此外,无需将整个文件的内容复制到内存中。您可以只遍历文件的剩余内容。

first_entries = set()
with open("c:\first_file.csv") as first_f:
next(first_f)
for line in first_f:
first_entries.add(line.split(',')[0])

with open("c:\second_file.csv") as second_f:
with open("c:\output_file.csv", "a") as out_file:
next(second_f)
for line in second_f:
if line.split(',')[0] in first_entries:
out_file.write(line)

此外,我注意到您对使用 with 语句打开的文件对象调用了 .close()。使用 with(上下文管理器)意味着所有清理都在您退出其上下文后完成。因此它会为您处理 .close()

关于python - 代码运行缓慢 - python 中的性能问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69103926/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com