node.js - `dat`协议(protocol)能否高效支持视频直播？

Question

我希望能够通过 dat 直播视频(或任何其他大型且不断修改/附加的文件)。

Here 它说，

The dat:// protocol doesn't support partial updates at the file-level, which means that with multiple records in a single file, every time a user adds a record, anyone who follows that user must sync and re-download the entire file. As the file continues to grow, performance will degrade. Putting each record in an individual file is much more efficient: when a record is created, peers in the network will only download the newly-created file.

但是，它还说 here dat 使用 Rabin 指纹来创建确定性的文件 block ，因此大概 dat 客户端能够轻松识别它已经通过其哈希下载的 block ，因此应该只能下载文件的最新最终 block (如果这是唯一已更改的部分)。

还有 here in the faq ，它说:

The type of Merkle tree used by Dat lets peers compare which pieces of a specific version of a dataset they each have and efficiently exchange the deltas to complete a full sync.

有 hypervision ，但从我对其工作原理的初步了解来看，它看起来像是为视频数据保存了自己的“bundle.js”文件，我不确定它是如何实现流式传输的，但这并不完全是与我想要实现的目标相同，即能够有效地传输任意大型且扩展的文件，例如 .ts 或 .mkv 视频流。

所以，我的问题是 - 高效的视频直播(即无需重新下载已下载的 block )目前不支持并且可以在将来添加，或者是使用 dat 本质上无法实现的东西协议(protocol)？

Answer 1

简而言之，Dat 构建于其之上的低级超核协议(protocol)应该适用于视频和其他“软实时”流媒体用途。然而，Dat(应用程序)所构建的超光速驱动器文件/目录抽象当前不适用于这些用例。没有什么可以阻止超光速驱动器与单个“任意大且可扩展的文件”一起正常工作，但它尚未针对该特定用例进行优化。

<小时/>

据我所知，当前所有视频流原型(prototype)都是通过将视频内容直接编码到超核中来工作的，而不是在超驱动器“文件和目录”抽象中。这有点像将原始字节写入硬盘而不是使用文件系统之间的区别。 P2P 视频和音频流是超核的明确设计目标。请注意，可能存在也可能不存在到现有文件格式或流协议(protocol)的直接映射；超核抽象以字节 block 流的形式呈现，每个字节 block 的上限约为一兆字节。

作为一个小细节，dat/hypercore 协议(protocol)和磁盘格式没有指定任何特定的“分块”机制。 Rabin 分块已经进行过实验，但默认情况下，几乎所有客户端都使用固定大小的分块，以实现简单性和速度(这并不意味着将来不可能实现高性能的局部敏感分块)。理论上，客户端在任何情况下都能够检测重复 block 并避免重新下载(以及磁盘上的重复存储)，但截至 2018 年夏季，此优化尚未实现。

Hyperdrive 目前要求所有文件作为连续 block 存储在“内容”超核提要中。这非常高效，但使重复数据删除变得困难。作为一种特殊情况，应该可以支持附加到最新文件(直接附加到内容提要)，而无需复制整个文件。每当更新或创建提要中的任何其他文件时，这都会破坏连续的 block ，但对于您的用例来说，它可能已经足够好了(如果要实现此优化)。