gpt4 book ai didi

hadoop - yarn 显​​示作业已成功,但EMR显示该步骤仍在运行

转载 作者:行者123 更新时间:2023-12-02 20:44:05 25 4
gpt4 key购买 nike

Yarn显示作业成功(在Yarn UI中),但EMR显示步骤(在EMR控制台UI中)仍在运行,并且永远显示为tat。任何想法 ?
我正在将s3作为json零件文件写入,并且在驱动程序日志中看到了这一点:

Caused by: java.io.IOException: File already exists:s3n:

但是驱动程序仍在运行,但是 yarn 显示成功。

最佳答案

我遇到了同样的问题,s3告诉我该文件已经存在,并且工作按预期完成。首先,不要使用s3n://,而应按照this issue的建议使用s3://

为了摆脱IOException,我启用了EMRFS consistent view,这对于“使用Amazon S3作为数据存储来运行快速顺序步骤的集群”是我的建议。 YMMV。

关于hadoop - yarn 显​​示作业已成功,但EMR显示该步骤仍在运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48730292/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com