java - HBase 项目 - 技术和架构

Question

已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足 Stack Overflow guidelines 。目前不接受答案。

---

我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便用事实和引文来回答。

已关闭 8 年前。

Improve this question

我想开发一个应用程序来学习如何使用 HBase。我可以使用哪些技术来使用 HBase 开发一个好的学习项目？例如，我想使用 Ruby on Rails、Java EE 或 Spring 之类的东西。我可以做什么架构？

Answer 1

正如您所知，HBase 构建在 HDFS(Hadoop 分布式文件系统)之上，预计它将用于存储非常大(TB 或 PB)的数据集。因此，在普通应用程序(控制台、桌面或 Web 应用程序)中使用 HBase 并不是一个好主意，因为它能够并行地对数据集进行处理，如果我们希望在如此大的数据集上获得良好的性能和可扩展性，这是必需的。如果没有并行处理，可能需要很多天才能完成如此大数据的单个作业。 Hadoop的MapReduce框架正好为这个问题提供了解决方案。您可以使用 MapReduce 读取/写入 HBase。这将使应用程序具有高性能(作业将从几天减少到几分钟或几小时)。

所以，IMO，最好从使用 MapReduce 框架和 HBase 开始。为此，您可以使用 Java 或 RoR。虽然 MapReduce 框架是用 Java 开发的，但也可以通过 Streaming API 从其他语言使用。 RoR还与Hadoop有更好的集成。