hadoop - Hadoop，HBase和Hive中的性能问题

Question

我正在将数据从SQL数据库迁移到Hadoop，在其中我也使用了HBase和Hadoop。我已成功将数据从SQL db导入到Hadoop，HBase和Hive。但是问题是系统的性能。我在5到10分钟内在SQL Db中获得了数百万个条目的结果，但是从HBase＆Hive中获取1000万个数据大约需要1个小时。谁能在这方面帮助我提高Hadoop系统的性能。

Answer 1

HBase中的数据仅由行键“索引”。如果要在Hive中查询行键前缀以外的任何内容，通常将执行全表扫描。

HBase筛选器可以进行一些优化，例如，使用FamilyFilter时，您可能可以跳过整个区域，但是我怀疑Hive会这样做。

如何提高性能取决于数据的形状和对数据执行何种分析。当执行频繁的即席分析时，将数据从HBase导出到HDFS上的Parquet文件之类，并与Hive(或Drill或Spark，Imapala等)进行分析可能会更好。