python - 提高 python 脚本的速度

Question

我有一个包含字符串列表的输入文件。

我从第二行开始每四行迭代一次。

我从每一行的前 6 个字符和后 6 个字符创建一个新字符串，并且仅当该新字符串是唯一的时才将其放入输出文件中。

我为此编写的代码有效，但我正在处理非常大的深度测序文件，并且已经运行了一天但没有取得太大进展。因此，我正在寻找任何建议，以尽可能加快速度。谢谢。

def method():
    target = open(output_file, 'w')

    with open(input_file, 'r') as f:
        lineCharsList = []

        for line in f:
            #Make string from first and last 6 characters of a line
            lineChars = line[0:6]+line[145:151] 

            if not (lineChars in lineCharsList):
                lineCharsList.append(lineChars)

                target.write(lineChars + '\n') #If string is unique, write to output file

            for skip in range(3): #Used to step through four lines at a time
                try:
                    check = line    #Check for additional lines in file
                    next(f)
                except StopIteration:
                    break
    target.close()

Answer 1

尝试将 lineCharsList 定义为 set 而不是列表:

lineCharsList = set()
...
lineCharsList.add(lineChars)

这将提高 in 运算符的性能。此外，如果内 stub 本不是问题，您可能希望将所有输​​出累积到一个列表中并将其全部写入最后，而不是执行多个 write() 操作。