windows - Windows下的git svn clone large repo : out of memory - not a large file issue

Question

我正在尝试使用 git svn 克隆一个大型 svn 存储库。 repo 有 100000 次修订。大小约为 9GB(原始文件夹)。 repo 协议(protocol)中的最大文件是 300 MB。

代码库中的分支结构一团糟。大量错误和缺失的 merge 信息，没有标准布局。我试图获取有和没有分支的最新修订。没有分支的命令如下所示:

git svn clone url_to_trunk_in_repo -r100000:HEAD --username=svn_user

HEAD 当前位于 101037。该进程运行了一段时间(几小时)并失败，如下所示:

Out of memory during request for 29040 bytes, total sbrk() is 254959616 bytes!

我已获得最新维护的 Windows git 修订版 (Git-1.9.4-preview20140929)，运行在具有 16 GB RAM 的 Windows 7 x64 上。

我已经对这种失败进行了一些搜索。大多数帖子都提到几年前大文件的问题，该问题很可能已经修复(尚未检查)。无论如何，此问题涉及大量分配，由错误消息指示 during "large"request。但是，该过程在添加小尺寸的正常实现文件时失败。因此，我不认为这是一个大文件问题。

我尝试修改 etc/gitconfig 中的包设置，这是一个常见的建议。但是，这没有帮助。我根本没想到它会有所帮助，因为内存错误是在从 svn 服务器下载期间发生的，而不是在处理包的 git gc 期间发生的，AFAIK。

进一步挖掘使我发现 perl 内存限制为 256MB。这很可能是这种情况，因为我总是收到几乎 256MB sbrk() 的错误。

对 perl 内存限制的进一步调查只会带来操作系统内存限制。在 win32 上是 2GB(带特殊开关的是 3GB)和 64 位 Windows 的 RAM 限制。我还找到了一些提高 Cygwin 内存限制的建议，但这些建议不适用于此处。

256MB 的限制在我看来很荒谬，我拼命寻找解决这个问题的方法。

---

编辑:这可能是 Perl 5.8.8 问题(git 使用该版本)。我还安装了 strawberry perl 5.16.3 x64。我已经编写了这个测试代码，它是对发布在 this stackoverflow question 的代码的修改。 :

use strict;
use warnings;

my @s;
my $count = 200;
my $alloc = 30000000;

for (my $i = 0; $i < $count; $i++)
{   print "Trying allocation...";
    $s[$i] = "a" x $alloc;   # ok
    print "OK\n\n";
}

使用 strawberray perl，这非常有效。在 git bash 中，我收到之前描述的错误。

Out of memory during "large" request for 33558528 bytes, total sbrk() is 2351800 32 bytes at mem.pl line 9.

---

编辑 2:我试过草莓 perl 5.8.8-1。它分配正确，但是，程序在执行后崩溃。因此，这通常不是 perl 5.8.8 中的错误，而是 git 附带的版本中的错误(msys perl 5.8.8)strawberry perl 和 msys perl 的配置在许多条目中有所不同。对我来说最明显的区别是 usemymalloc=n(草莓)和 usemymalloc=y(msys perl)。

我也检查了git bash中的ulimit，没有发现任何异常:

$ ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
file size               (blocks, -f) unlimited
open files                      (-n) 256
pipe size            (512 bytes, -p) 8
stack size              (kbytes, -s) 2046
cpu time               (seconds, -t) unlimited
max user processes              (-u) 63
virtual memory          (kbytes, -v) 2097152

Answer 1

借助 Cygwin 和 Git 2.1.1，我可以在我的存储库上运行 git svn 而不会出现任何内存问题。我的测试程序也运行良好。我没有在 Cygwin 上尝试过 1.x 版本的 Git，但我想它们可以工作，因为问题是 msysperl 的内存限制，它已被 Cygwin 取代。

我不会将此标记为答案，因为它没有解决我原来的问题。这是我目前使用 Git 进行测试的解决方法。

我想要一个带有正常工作的 Perl 的 Git for Windows 发行版。升级 Perl 时出现问题 here .然而，这似乎不是一件容易的事。 Windows 上 git svn 使用的 SVN 版本也是如此:Howto upgrade SVN