python - python 2.6 中 100mb 文件的多个字符串替换

Question

我有一个 100mb 的大文件，我想对其执行大约 5000 次字符串替换，实现此目的的最有效方法是什么？

没有比逐行读取文件并在每行上执行 5000 次替换更好的方法了吗？

在打开文件并对字符串执行 5000 次替换时，我还尝试使用 .read 方法将文件读取为字符串，但这甚至更慢，因为它对整个文件进行了 5000 次复制。

此脚本必须使用 python 2.6 在 Windows 上运行

提前致谢

Answer 1

按此顺序尝试以下操作，直到您获得足够快的速度。

1. 将文件读入一个大字符串并依次进行每个替换，覆盖相同的变量。

   with open(..., 'w') as f:
       s = f.read()
       for src, dest in replacements:
           s = s.replace(src, dest)
       f.seek(0)
       f.write(s)
   

2. Memory map文件，并编写一个执行替换的自定义替换函数。