Git 以编程方式从远程存储库中获取单个文件

Question

我会预先说明这个问题在本质上与this 类似。 .有一个关键区别使它与众不同:我想使用原始 git 协议(protocol)(如果您不熟悉基本包网络协议(protocol)，请参阅 here 和 here)。

我正在使用 Scala 和 JGit 编写一个应用程序，它将连接到一个匿名的 git 存储库。我想请求一个单一的 blob(想想“/path/to/file.txt”@“refs/heads/branch1”)。最终我的目标是以编程方式从远程存储库中检索单个文件。这似乎是一件非常有用的事情。

任何人，我一直在研究这个协议(protocol)的内部结构。看起来这个的基本版本是“我想要这些对象，我有这些对象”——而且 bam，有一个包文件包含你没有的所有东西。我的问题的核心是:如何以非递归方式向 git-upload-packfile 请求单个对象？我可以下载单个提交对象，然后请求树，然后是子树，然后是另一个子树，最后是 blob 本身。速度在这里不太重要，主要是我想节省带宽。但似乎根本没有办法告诉 git-upload-packfile，“请只给我我要求的一个对象”。

是的，有一个“有”列表，它基本上将对象排除在外，但这需要对存储库内容有先验知识(记住，我没有本地存储库)。我可以生成一个包含所有可能的 sha1 的列表，然后发送除我想要的以外的所有 sha1，但这太荒谬了(耗时、耗带宽，而且到处都是针对程序员的犯罪行为)

我一直在研究的另一种可能的解决方案是在远程端使用 git-upload-archive，尽管我承认我还没有花太多时间研究它。

如果涉及到这一点，我非常愿意重写 JGit，所以请不要将其理解为“我如何让 JGit 做...”。我只想知道协议(protocol)本身是否能够做到这一点。我觉得有一些非常聪明的方法可以滥用协议(protocol)来实现我想要的。有什么想法吗？

Answer 1

回答我自己的问题。我找到了一个可接受的(尽管几乎没有记录)答案。我不得不深入研究大量 C 代码才能弄清楚这一点。

首先，使用 git-upload-packfile 无法实现上述要求，因为这根本不是程序设计的目的。我怀疑正确答案是 git-upload-archive。可悲的是，该协议(protocol)几乎没有记录在案。所以这里是我的笔记，以防其他人有类似的要求。

基本上我在这里(在 scala 中)试图模拟的是以下命令:

git archive --format=tar --remote=ssh://dave@ssh.mycompany.com/cornballer.git \
  > master plans/documents/cornballer-blueprint.pdf | tar -x

除了在软件方面，希望使用 JGit。遗憾的是 JGit(还)不支持 git archive 命令。所以这里有一个关于如何添加支持的非常高级的概述(我可能会 fork JGit 并在以后添加它)。

让我们看一下协议(protocol)(来自 Documentation/technical/pack-protocol.txt):

git-proto-request = request-command SP pathname NUL [ host-parameter NUL ]
request-command   = "git-upload-pack" / "git-receive-pack" /
                    "git-upload-archive"   ; case sensitive
pathname          = *( %x01-ff ) ; exclude NUL
host-parameter    = "host=" hostname [ ":" port ]

所以协议(protocol)的第一部分是这样的:

1. 建立远程传输(ssh 然后运行 ​​git-upload-archive 或使用匿名 git 协议(protocol))
2. 发送 git-upload-archive/cornballer.git\0host=ssh.mycompany.com\0(作为数据包行)

至此连接建立。如果命令不受支持或出现任何问题，Git 可能会返回错误。我还不知道如何检查这个。

接下来是未记录的部分。我们基本上通过网络为 git-archive 发送命令行参数。它们与 git-archive 命令完全相同，只有一个异常(exception):它们都以 argument[SPACE] 为前缀。每个参数都被写成(至少在引用实现中)作为一个单独的数据包行。所以对于上面的例子:

1. 发送argument --format=tar(作为数据包行)
2. 发送argument master(作为数据包行)
3. 发送 argument plans/documents/cornballer-blueprint.pdf(作为数据包行)
4. 发送一个刷新数据包(0000)

至此，我们已经将整个命令交给了远程 git-archive 进程。现在我们阅读响应。我们从服务器读回一个数据包行，这将是以下响应之一:

1. ACK(表示成功——准备发送存档)
2. NACK [message] -- 某种错误，只找到一个使用实例 -- “无法生成子进程”
3. ERR [消息] -- 发生错误

如果发送了一个ACK，它后面会跟着一个刷新数据包(0000)，然后是原始的tar数据。此时，您重复读取边带 #1(主数据通道)上的数据包行。当您到达冲洗包时，您将停止阅读。很简单。

现在您有了远程文件，但是如果您想进行某种巧妙的缓存怎么办？我如此热衷于使用 git-upload-packfile 的原因之一是它可以让我记录提交 ID，从而将其缓存在本地并仅在需要时刷新。 tar 文件不会告诉我们该信息，对吧？错了!

来自 git-archive 的手册页:

Additionally the commit ID is stored in a global extended pax header if the tar format is used; it can be extracted using git get-tar-commit-id. In ZIP files it is stored as a file comment.

这是个好消息!这就是我想要的一切。如果您想知道 header 是什么样子，这里有一个示例(不，我不打算剖析 pax header ):

pax_global_header00006660000000000000000000000064121002672560014513gustar00rootroot0000000000000052 comment=326756f834865880c9832b64238e7665632e9b67

因此，从我的角度来看，我只需要设置一个管道来自动运行上述步骤，通过解压缩步骤(以编程方式)运行它以执行所需的“从 git 中获取单个文件”功能。