http - 分布式文件压缩

Question

我一直在考虑数据冗余，只是想在继续这样做之前把所有的东西都写下来(并进一步检查这个想法是否已经付诸实践)。

好的，开始吧。

互联网上充斥着冗余数据，包括文本、图像、视频等。因此，人们在通过 HTTP 进行 gzip 和 bzip2 即时压缩和解压缩方面付出了很多努力。像 Google 和 Facebook 这样的大型网站都有整个团队致力于让他们的页面加载更快。

我的“问题”涉及这样一个事实，即压缩仅在每个文件 的基础上完成(gzip file.txt 产生file.txt.gz)。毫无疑问，散布在 Internet 上看似无关的数据之间存在许多共性。如果您可以存储这些公共(public) block 并在客户端或服务器端组合它们以动态生成内容，会怎样？

要做到这一点，必须在 Internet 上找到最常见的数据“ block ”。这些 block 可以是任何大小(这里可能有一个最佳选择)，并且组合起来需要能够表达任何可以想象的数据。

为了便于说明，假设我们有以下 5 个公共(public)数据 block - a、b、c、d 和 e。我们有两个文件仅包含这些 block 。我们有名为 chunk 和 combine 的程序。 chunk 获取数据，通过 bzip2、gzip 或其他一些压缩算法对其进行压缩，并输出包含所述数据的 block (压缩后)。 combine 扩展 block 并解压缩连接的结果。以下是它们的使用方式:

$ cat gettysburg.txt
"Four score and seven years ago...cont'd"
$ cat test.txt
"This is a test"
$ chunk gettysburg.txt test.txt
$ cat gettysburg.txt.ck
abdbdeabcbdbe
$ cat test.txt.ck
abdeacccde
$ combine gettysburg.txt.ck test.txt.ck
$ cat gettysburg.txt
"Four score and seven years ago...cont'd"
$ cat test.txt
"This is a test"

例如，当通过 HTTP 发送文件时，服务器可以分块数据并将其发送给客户端，然后客户端可以组合分块数据并渲染它。

有没有人尝试过这个？如果不是，我想知道为什么，如果是，请发布您如何完成这项工作。一个很好的第一步是详细说明您如何弄清楚这些 block 是什么。一旦我们弄清楚了如何获取 block ，我们就会弄清楚这两个程序 chunk 和 combine 可能如何工作。

我可能会对此悬赏(取决于接收情况)，因为我认为这是一个非常有趣的问题，具有现实意义。

Answer 1

你问之前是否有人做过类似的事情以及 block 大小应该是多少，我想我会向你指出我想到的两篇论文:

• (位于)Google 的团队正试图通过利用文档之间共享的数据来加快网络请求。服务器将预先计算的字典传送给客户端，其中包含文档之间通用的数据，并在以后的请求中引用。这一次只适用于一个域，而且——目前——只适用于谷歌浏览器:Shared Dictionary Compression Over HTTP

• (A team at)Microsoft 在他们的工作中确定 Optimizing File Replication over Limited-Bandwidth Networks using Remote Differential Compression对于他们的文件系统同步情况，大约 2KiB 的 block 大小效果很好。他们使用了一种间接级别，因此重新创建文件所需的 block 列表本身被分成 block ——这篇论文读起来很有趣，可能会给你关于如何做事情的新想法。

不确定它是否对您有帮助，但这里是以防万一。 :-)