hadoop - 为什么 hbase 即使存在 hdfs

Question

为什么 hadoop 使用 hbase，即使 hdfs 可用于存储？

我们还可以将表数据作为 block 存储在 hdfs 中。

数据存储在hbase中吗？如果是这样，那么 hdfs 的作用是什么？

Answer 1

HDFS 是一种分布式文件系统，非常适合存储大文件。它旨在支持数据的批处理，但不提供快速的单个记录查找。

HBase 建立在 HDFS 之上，实际上数据存储在 HDFS 上，旨在提供对大型表中单行数据的访问。

总的来说，HDFS和HBase的区别是

HDFS——

Is suited for High Latency operations batch processing
Data is primarily accessed through MapReduce
Is designed for batch processing and hence doesn’t have a concept of random reads/writes

HBase——

Is built for Low Latency operations
Provides access to single rows from billions of records
Data is accessed through shell commands, Client APIs in Java, REST, Avro or Thrift