python - 在代理python上重写http请求

Question

我需要一些关于性能调整的建议，该脚本读取代理转储到临时 RAM 磁盘上的 URL header ，读取文件并将其附加到列表中，经过一些检查后，它读取列表，如果该行包含“User-Agent”重编辑并使用标准输出刷新...

proc = open(sys.argv[1],'r')
    slog.write("writing standard input \n")
    for line in proc.readlines():
        header.append(line)

      . . . . . . . . 

        if check_header == None: #check_header is returned by one of the functions to whether rewrite the header
            for h in header:
                if "User-Agent" in h and "custom-header:" not in h:
                    h = h.rstrip("\r\n") + " custom-header:" + customer + "\r\n"
                sys.stdout.write(h)
                sys.stdout.flush()
            #sys.exit(1)

        else:
            sys.stdout.write(new_get)

我担心的是，对于大量的请求，它会很慢，因为它会附加到列表，读取它并刷新它，我有什么想法可以调整它的性能

Answer 1

除非代码示例中的缩进错误，否则您将尝试添加自定义 header ，次数与列表中的元素数量相同。尝试一下

proc = open(sys.argv[1],'r')
slog.write("writing standard input \n")
for h in proc.readlines():

  . . . . . . . . 

    if check_header == None: #check_header is returned by one of the functions to whether rewrite the header
        if "User-Agent" in h and "custom-header:" not in h:
            h = h.rstrip("\r\n") + " custom-header:" + customer + "\r\n"
        sys.stdout.write(h)
        sys.stdout.flush()

    else:
        sys.stdout.write(new_get)