Hadoop 顺序数据访问

Question

根据 Hadoop 权威指南:

HDFS is a filesystem designed for storing very large files with streaming or sequential data access patterns

什么是流式或顺序数据访问？它将如何减少磁盘的寻道时间？

Answer 1

这并不是 Hadoop 特有的。

顺序访问模式是指您按顺序读取数据(通常是从头到尾)。考虑一本书的例子。阅读小说时，您使用顺序:从第 1 页开始，然后移至第 2 页，依此类推。另一种常见模式称为随机访问。这是当你从一个地方跳到另一个地方，甚至可能在读取数据时向后跳。对于书籍示例，请考虑一本字典。你不像读小说那样读它。相反，您在中间某个地方搜索您的单词。当您查找完该词后，您可能会去寻找另一个词，该词位于距您当前打开书本的位置数百页之外的地方。搜索应该从哪里开始阅读的过程称为“搜索”。

当您按顺序访问时，您只需要查找一次然后读取直到您完成该数据。进行随机访问时，每次要切换到文件中的不同位置时都需要查找。这在硬盘驱动器上可能会造成相当大的性能损失，因为在磁盘驱动器上寻道的成本非常高。