hadoop - 在JSP中显示hbase数据需要花费几分钟。

Question

我正在使用Hive查询从JSP访问HBase数据，现在因为Hbase可以存储海量数据(如TB级数据)，如果数据太多，则Hive查询(转换为Map Reduce任务)将花费几分钟的时间。 JSP页面等待说10分钟才能显示数据。应该采取什么策略。这是正确的方法吗？如果不是，那么在JSP上显示大量hbase数据的最佳方法是什么。

Answer 1

Hive / Any hadoop map-reduce系统可用于脱机批处理。从JSP提交Hive查询，并等待任意数量的时间以准备好数据并在前端显示这些消息，这是绝对不可以的。如果集群太忙，您的作业可能甚至没有在指定时间内安排。

您想从前端的Hbase确切显示什么？

如果它是表中的一组行，并且您知道这些行是什么(意味着您具有行键，或者您的应用程序可以在运行时对其进行计算)，只需从中获取这些行并进行显示即可。

如果您必须执行一些类似SQL的操作(联接/选择等)，那么我想您确实意识到了，HBase是No-SQL系统，您应该在应用程序中执行这些操作，然后使用获取适当的行行键。

例如:如果您有2个HBase表，请说“部门”(部门ID为行键，并用逗号分隔的empIds列表作为字符串列(员工))和Employee(“emp Id”作为行键并在“名称”，“年龄”，“工资”列中)。要找到某个部门中薪水最高的员工，您必须

从Dept表中获取行(使用dept ID)

b。从雇员列迭代empIds列表。

C。在每次迭代中，从Employee表中获取行(通过empId行键)

并找到最大

是的，HBase可以处理TB的数据，但是您几乎永远不必使用JSP在前端显示大量数据。我猜，尽管支持HBase的表要大得多，但是您很可能只对一部分数据感兴趣。