gpt4 book ai didi

hadoop - 使用 yarn 的 hive 问题

转载 作者:可可西里 更新时间:2023-11-01 16:06:31 27 4
gpt4 key购买 nike

我在 yarn 上运行 hive sql,它在连接条件下抛出错误,我能够创建外部表和内部表但是在使用命令时无法创建表

create table as AS SELECT name from student.

当通过 hive cli 运行相同的查询时它工作正常但是使用 spring jog 它会抛出错误

2016-03-28 04:26:50,692 [Thread-17] WARN       
org.apache.hadoop.hive.shims.HadoopShimsSecure - Can't fetch tasklog:
TaskLogServlet is not supported in MR2 mode.

Task with the most failures(4):
-----
Task ID:
task_1458863269455_90083_m_000638
-----
Diagnostic Messages for this Task:
AttemptID:attempt_1458863269455_90083_m_000638_3 Timed out after 1 secs

2016-03-28 04:26:50,842 [main] INFO
org.apache.hadoop.yarn.client.api.impl.YarnClientImpl - Killed application
application_1458863269455_90083

2016-03-28 04:26:50,849 [main] ERROR com.mapr.fs.MapRFileSystem - Failed to
delete path maprfs:/home/pro/amit/warehouse/scratdir/hive_2016-03-28_04-
24-32_038_8553676376881087939-1/_task_tmp.-mr-10003, error: No such file or
directory (2)

2016-03-28 04:26:50,852 [main] ERROR org.apache.hadoop.hive.ql.Driver -
FAILED: Execution Error, return code 2 from

根据我的发现,我认为 scratdir 存在一些问题。

如果有人遇到同样的问题,请提出建议。

最佳答案

如果递归目录不存在,则会出现此问题。 Hive 不会自动递归地创建目录。

请检查从根目录到子\表级别的目录是否存在

关于hadoop - 使用 yarn 的 hive 问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36277834/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com