sql - hive 中的排序字段

Question

我有大约20-25百万条记录的表，我必须根据某些条件放入另一个表并进行排序。例

Create table X AS
select * from Y 
where item <> 'ABC'
Order By id;

我知道Order by使用单个reducer来保证输出中的总订单。
我需要优化的方式来对上述查询进行排序。

Answer 1

这个评论太长了。

SQL表表示无序集。在并行数据库中，数据分布在多个处理器之间尤其如此。

也就是说，Hive确实支持聚集索引(实质上定义了分区)以及在分区内进行排序。 documentation非常具体，但是CREATE TABLE AS不支持:

CTAS has these restrictions:

• The target table cannot be a partitioned table.

您可以通过导出数据然后重新导入来做您想要的事情。

但是，我建议您弄清楚您真正需要什么，而不需要在数据库中对数据进行排序。