open-source - 使用 torrent 协议(protocol)的去中心化备份

Question

就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the help center寻求指导。




9年前关闭。




我正在考虑创建客户端的想法，该客户端将使用目前在 uTorrrent 或 Vuze 等 torrent 下载客户端中使用的 torrent 协议(protocol)来创建:
客户端软件:

选择要备份的文件

为每个文件创建类似 torrent 的描述 rune 件

根据关键词提供可选的文件加密

让您选择您想与其他客户交易的冗余
(冗余将基于互惠原则。如果您想备份 100MB 五次，则必须在系统中提供额外的 500MB 自己的存储空间。文件备份不会仅分布在 5 个客户端之间，但它将根据设置中指定的物理距离利用尽可能多的客户端提供存储作为交换)

可选:

我正在考虑包括边缘文件共享。如果您希望在备份存储中共享非加密文件，并且希望客户端打开端口 80 以进行公共(public) HTTP 共享。但这很棘手，因为我很难想出简单的方案，让访问者选择最近的备份客户端。

包括文件管理器，它允许使用 torrent 协议(protocol)的两个系统之间的文件传输(类似于带有 GUI 的 FTP)样式。

我正在考虑将其创建为服务 API 项目(有点像 http://www.elasticsearch.org )，它可以与任何容器集成，例如 tomcat 和 spring 或只是普通的 Swing。
这将是 P2P 开源项目。由于我对我对 torrent 协议(protocol)的理解并不完全有信心，所以问题是:
在当前的 torrent 技术状态下，上述方法是否可行(我应该在哪里招聘 java 这个项目的开发人员)
如果这是发布此错误的位置，请将其移至更合适的站点。

Answer 1

您正在为这项工作考虑错误的技术。你想要的是一个erasure code使用范德蒙矩阵。这允许您做的是获得相同级别的数据丢失保护，而无需存储几乎一样多的副本。 Luigi Rizzo 有一个开源实现效果很好。

这段代码允许你做的是获取一个 8MB 的数据 block 并将其切割成任意数量的 1MB block ，这样其中任何八个都可以重建原始数据。这使您能够获得与将存储的数据大小增加三倍相同的保护级别，甚至无需将存储的数据大小增加一倍。

您可以根据需要调整参数。在 Luigi Rizzo 的实现中，有 256 个 block 的限制。但是您可以控制 block 大小和重建数据所需的 block 数。

您不需要生成或存储所有可能的 block 。如果将一个 80MB 的数据 block 切割成 8MB 的 block ，这样任何十个都可以恢复原始数据，那么您最多可以构建 256 个这样的 block 。您可能只需要 20 个左右。