hadoop - Google云存储-Tez输出文件

Question

当我使用tez运行查询时，输出文件的数量非常大。我有4-5 GB的数据，每个数据有46 MB或16 MB。我只希望有2-3个文件作为输出文件。

我的输出文件位置将是google cloud storage。如何合并文件？

set mapred.reduce.tasks = 1;
set hive.merge.mapfiles = true; 
set hive.mergejob.maponly = true;
set hive.merge.mapredfiles=true;

我确实设置了这些参数。我确实编写了插入覆盖查询以覆盖相同位置的数据。没用请帮忙。

Answer 1

我能够做到这一点。之前，当我这样做时，它只是 map 工作。现在，我对查询进行了一些更改以也使用reducer(添加了distribution by)。然后，如果我说“reducer的数量= 1”，则它起作用。但是它不适用于其他仅适用于 map 工作的参数