merge - 如何减少Hive中SQL "Alter Table/Partition Concatenate"的生成文件？-6ren

merge - 如何减少Hive中SQL "Alter Table/Partition Concatenate"的生成文件？

转载作者：行者123 更新时间：2023-12-04 16:14:33

26

4

hive 版本:1.2.1

配置:

set hive.execution.engine=tez;
set hive.merge.mapredfiles=true;
set hive.merge.smallfiles.avgsize=256000000;
set hive.merge.tezfiles=true;

HQL:

ALTER TABLE `table_name` PARTITION (partion_name1 = 'val1', partion_name2='val2', partion_name3='val3', partion_name4='val4') CONCATENATE;

我使用HQL合并特定表/分区的文件。但是，执行后，输出目录中仍然有许多文件。并且它们的大小远远小于256000000。因此如何减少输出文件的数量。

顺便说一句，使用MapReduce代替Tez也不起作用。

最佳答案

您可以将 reducer 编号设置为1，这样只会创建一个输出文件。

您可以执行以下操作；

set mapred.reduce.tasks=1

关于merge - 如何减少Hive中SQL "Alter Table/Partition Concatenate"的生成文件？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33166387/

26

4

0

文章推荐： nlp - 可比语料库和平行语料库有什么区别？

文章推荐： php - 让客户端与服务器上的进程通信

文章推荐： php - Ratchet - 无法在服务器端获取查询字符串

文章推荐： lua - 根据表达式文本返回函数的函数

sql-server-2005 - SQL Server 脚本 : ALTER PROCEDURE - Executing multiple ALTER PROCEDURE into one script without having to select each of the ALTER one after another
我知道这不是什么大问题，但还是让我觉得很痒。我有一个 SQL Server 2005 脚本来创建新的数据表、约束、更改一些表以添加列、更改过程以将表更改考虑在内等。一切正常，直到脚本遇到我的 AL
r - 获取包含 alter 的 alters 的边缘列表
我需要一个包含三列的数据框:i、j(改变)和 k(j 的改变)。我有一个邻接矩阵(下面的示例)。从那里我可以获得一个图形对象并提取边缘列表。我如何操作数据以获得类似于下面的 WANT 数据框的输出？
sql - 如何在 ALTER TABLE 后正确运行 ALTER VIEW
假设我有这个 SQL 语句: ALTER TABLE dbo.[tbl] ALTER COLUMN col1 varchar(300) ALTER TABLE dbo.[tbl] ALTER COLU
sql-server - ALTER TABLE ALTER COLUMN 会中断正在进行的数据库访问吗？
我在表中有一列，因此它不再是 NVARCHAR(256)，而是 NVARCHAR(MAX)。我知道执行此操作的命令 (ALTER TABLE ALTER COLUMN NVARCHAR(MAX))。我
sql-server - ALTER TABLE ALTER COLUMN 会中断正在进行的数据库访问吗？
我在表中有一列，因此它不再是 NVARCHAR(256)，而是 NVARCHAR(MAX)。我知道执行此操作的命令 (ALTER TABLE ALTER COLUMN NVARCHAR(MAX))。我
mysql - 不带 AFTER 的 ALTER TABLE 与带 AFTER 的 ALTER TABLE
假设我有这两个 ALTER TABLE: ALTER TABLE tableName ADD COLUMN colName INT(11) AFTER colName2 ALTER TABLE tab
c# - 对象 'PK_AspNetUserTokens' 依赖于列 'Name' 。 ALTER TABLE ALTER COLUMN Name 失败，因为一个或多个对象访问此列
我正在尝试扩展 IdentityUser 类。我添加了一个新类 ApplicationUser 并继承了 IdentityUser 类。迁移已成功添加，但在更新数据库时，出现错误“对象 'PK_Asp
用于 alter table alter columns IDENTITY(1,1) 的 sql server helper 存储过程或实用程序
我想将 sql server 2005 表中的列修改为 IDENTITY(1,1) 顺便说一句，该表是空的，要更改的列是主键。该列也是另外两个表的外键。谷歌搜索后我发现你不能使用Alter tab
javascript - 使用 Javascript 和 JQuery 改变 CSS 属性 : JQuery cannot alter properties that Javascript has already altered?
这是我要实现的目标:我在列表中有四个按钮，每个按钮都有白色背景和独特的彩色边框。单击一个按钮时，其背景颜色将与其边框颜色相同。单击第二个按钮时，第一个按钮恢复正常，第二个按钮的背景填充第二个按钮的边框
alter-table - 如何在clickhouse中添加一列
我在 clickhouse 有一张 table ，比如“my_table”，它有复制品(my_table_rep1，...)。我需要添加一个列，类型为 float64，默认值 (-1)。我该怎么做？
sql - ALTER TABLE语句冲突
alter FUNCTION [Kuri].[fnGetAge](@kuri_cust_Id int,@amt decimal) RETURNS SMALLINT AS BEGIN D
mysql添加约束(ALTER)如何将它们按顺序排列
我试图确保当我 mysqldump 数据库时约束在执行以下查询后按数字顺序排列。当我在没有 AFTER 的情况下进行转储(这不起作用)时，它显示 phppos_sales_ibfk_3 作为第一个约束
mysql - ALTER 查询不起作用
我有两个表:cleanup 和 uniqueEntries。它们都有一个自动递增的id作为主键。 uniqueEntries 的表结构来自 cleanup，如下所示: $sql = "CREATE T
mysql - ALTER 表并添加间隔
我有一个包含以下数据和结构的表: Date Analyst Start Time Stop Time 4/2/2018 Bill Smith 7:00
mysql - ALTER TABLE命令在MYSQL中不起作用
This question already has answers here: Error renaming a column in MySQL
MySQL ALTER 表多列键
是否可以更改表的多(复合)列键？示例表: CREATE TABLE `test_abc` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT, `
oracle alter session查询的Java准备语句参数
我尝试执行 oracle alter session 查询以更改语言设置，但失败并出现错误“ORA-01036:非法变量名称/编号”。 preparedStatement = connection.p
MySQL ALTER 列到表中的最后一个位置
我正在与一位客户合作，他希望大型数据库中的每个表的每条记录都有历史数据，并且为了美观，希望这些列位于每个表的末尾。例如: 表名主键数据列历史专栏所以我的问题是，是否有一个 SQL 命令可以将列
SQL Alter 触发器挂起
我正在尝试更改 SQL Server 2000 更新触发器，但它一直挂着、挂着、挂着。为什么会发生这种情况，我该怎么做才能解决这个问题？这是一个长触发器，这可能是为什么？触发代码较长，简化如下: A
mysql，alter column删除主键和auto_increment
我正在将我的 mysql 数据库表从 id (auto) 更改为 uid。 ALTER TABLE companies DROP PRIMARY KEY; ALTER TABLE companies

首页

博学

6Ren·AI

商城

merge - 如何减少Hive中SQL "Alter Table/Partition Concatenate"的生成文件？