diff - 内存耗尽: for large files using diff

Question

我正在尝试使用两个大文件夹(〜7GB)创建一个补丁。

这是我的做法:

$ diff -Naurbw . ../other-folder > file.patch

但可能由于文件大小而导致未创建补丁并给出错误:

diff: memory exhausted

我尝试使空间超过15 GB，但问题仍然存在。有人可以帮我解决我应该使用的标志吗？

Answer 1

最近，当我需要比较两个大文件(每个文件大于5Gb)时，我也遇到了这个问题。

我尝试将'diff'与其他选项一起使用，但即使--speed-large-files也无效。将文件拆分为较小的文件，使用xdelta或按照this suggestion排序文件等其他方法也无济于事。我什至可以使用功能非常强大的VM(> 72Gb RAM)，但是仍然遇到memory exhausted错误。

最后，我通过向sysctl.conf(sudo vim /etc/sysctl.conf)添加以下参数来开始工作:

vm.overcommit_memory=1

vm.overcommit_memory具有三个值(0,1,2)，并设置内核虚拟内存记帐模式。从 proc(5) man page:

0: heuristic overcommit (this is the default)
1: always overcommit, never check
2: always check, never overcommit

为了确保确实应用了该参数，您可以运行

sudo sysctl -p

完成操作后，请不要忘记更改此参数!