python - 加快读取 xml 文件的速度

Question

我有一份专利文档，它是一个文本文档中的 xml 文件的串联字符串。我希望将其分成单独的文档，每个文档都是一个 xml 文件。我的代码可以工作，但我需要加快速度。我的代码是这样的:

import time

count = 0

filestr = ''

line = 'x'

start_time = time.time()
with open('C:/Users/RNCZF01/Documents/Cameron-Fen/Economics-Projects/Patent-project/similarity/Patents/ipg121225.xml') as txtfile:
while line:        
    line = txtfile.readline()
    if '<?xml version="1.0" encoding="UTF-8"?>' in line:
        filestr = str(count) + '.xml'
        count += 1

    with open('C:/Users/RNCZF01/Documents/Cameron-Fen/Economics-Projects/Patent-project/similarity/Patents/2012-12-25/' + filestr, 'ab') as textfile:
        textfile.write(line)
        textfile.write('\n')

print("--- %s seconds ---" % (time.time() - start_time))

我能想到的加快速度的一项优化是 if 语句。它检查该行是否包含 xml header : <?xml version="1.0" encoding="UTF-8"?> 。如果我可以检查该行是否为 <?xml version="1.0" encoding="UTF-8"?>，可能会快得多。而不是仅仅包含它。但是当我写 if line == '<?xml version="1.0" encoding="UTF-8"?>':它不接电话。我需要添加 \n最后还是什么？您还可以想到其他优化来加快此过程吗？谢谢，

卡梅伦

Answer 1

您可能想要加载整个文件内容并执行 python 正则表达式模式匹配器，而不是检查每一行。这样，您只需调用方法 findall() 即可减少检查和获取所有匹配项的步骤。

这是文档链接 - https://docs.python.org/3/howto/regex.html