linux - 在外部网上分发文件包

Question

我希望能够分发文件包，每个包大约 500 MB，到公司“外联网”(基本上是使用各种私有(private)机制连接的几个 LAN，包括租用线路和 VPN)上的所有机器。

主机总数大约为 100 台，目标是可靠、快速、高效地将 bundle 副本从一台主机复制到所有其他主机上。一个重要的问题是一些主机在单个快速 LAN 上组合在一起，在这种情况下，网络 I/O 应该从一个组到下一个组完成一次，然后在每个组内的所有对等点之间完成。这与严格的中央服务器系统相反，在中央服务器系统中，多个主机可能各自通过慢速链接获取相同的包，而不是通过慢速链接一次，然后在彼此之间快速获取。

每隔几天就会产生一个新的bundle，偶尔会删除旧的bundle(但这个问题可以单独解决)。

有问题的机器恰好运行最新的 Linux，但奖励积分将用于至少在一定程度上跨平台的解决方案(在这种情况下， bundle 可能因平台而异，但可能会使用相同的机制)。

差不多就这些了。我不反对编写一些代码来处理这个问题，但如果它是 bash、Python、Ruby、Lua、C 或 C++ 中的一种代码会更可取。

Answer 1

我认为所有这些问题都已通过对 p2p 网络的现代研究得到解决，并很好地打包成漂亮的形式。一些脚本和 bit torrent 应该可以解决这些问题。所有现代操作系统都存在 torrent 客户端，然后每台机器上都有一个脚本来检查新 torrent 文件的位置，启动 DL，然后在 DL 完成后删除旧包。