gpt4 book ai didi

python - 快速找出两个大文本文件之间的差异

转载 作者:太空狗 更新时间:2023-10-29 18:27:00 27 4
gpt4 key购买 nike

我有两个 3GB 的文本文件,每个文件大约有 8000 万行。它们共享 99.9% 相同的行(文件 A 有 60,000 行,文件 B 有 80,000 行)。

如何在两个文件中快速找到那些唯一的行?有现成的命令行工具吗?我正在使用 Python,但我想不太可能找到一种有效的 Pythonic 方法来加载文件和进行比较。

如有任何建议,我们将不胜感激。

最佳答案

如果顺序很重要,请尝试使用 comm 实用程序。如果顺序无关紧要,sort file1 file2 | uniq -u.

关于python - 快速找出两个大文本文件之间的差异,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3544331/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com