hadoop - HiveQL 查询性能优化

Question

随着Hive查询中JOINS数量的增加，查询分多个阶段运行，执行时间非常长。如何提高查询性能。有什么参数需要设置吗？

Answer 1

所有大表首先应该按连接顺序放在最后一个: 选择小。，大。 从小 JOIN large ON small.joinkey=large.joinkey;您可以使用提示告诉 optimazier 哪个表最大:

SELECT/*+ STREAMTABLE(large) */ small.*, large.* FROM large
JOIN small ON small.joinkey=large.joinkey;

其次，小表可以在通过 Map-side join 连接时缓存在内存中:

set hive.auto.convert.join = true;
SELECT a.*, b.* FROM a
JOIN b ON a.joinkey=b.joinkey;

map-join 表的大小设置为:

set hive.mapjoin.smalltable.filesize = 1000000; 

希望对大家有所帮助。 GL!