gpt4 book ai didi

hive - HDINSIGHT 配置单元,MSCK 修复表 table_name 抛出错误

转载 作者:行者123 更新时间:2023-12-04 16:17:54 25 4
gpt4 key购买 nike

我有一个名为employee 的外部分区表,带有partition(year,month,day),每天都会有一个新文件出现在特定的日期位置调用今天的日期,它将在2016 年10 月13 日。

TABLE SCHEMA:
create External table employee(EMPID Int,FirstName String,.....)
partitioned by (year string,month string,day string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' LOCATION '/.../emp';

所以每天我们都需要运行运行良好的命令
ALTER TABLE employee ADD IF NOT EXISTS PARTITION (year=2016,month=10,day=14) LOCATION '/.../emp/2016/10/14';

但是一旦我们尝试使用下面的命令因为我们不想手动执行上面的alter table命令,它就会抛出下面的错误
hive> MSCK REPAIR TABLE employee;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

笔记:
hive> MSCK TABLE employee; //this show me that a partition has not added in the table
OK
Partitions not in metastore: employee:2016/10/14
Time taken: 1.066 seconds, Fetched: 1 row(s)

请帮助我,因为我坚持这一点。对于这种情况,我们有什么解决方法吗?

最佳答案

我为我的问题找到了一个解决方法,即如果表静态分区名称类似于 'year=2016/month=10/day=13' 那么我们可以使用下面的命令并且它正在工作...

set hive.msck.path.validation=ignore;
MSCK REPAIR TABLE table_name;

关于hive - HDINSIGHT 配置单元,MSCK 修复表 table_name 抛出错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40043986/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com