apache-spark - EMR Spark - TransportClient : Failed to send RPC

Question

我收到此错误，我尝试增加集群实例以及执行程序和驱动程序参数的内存但没有成功。

17/05/07 23:17:07 ERROR TransportClient: Failed to send RPC 6465703946954088562 to ip-172-30-12-164.eu-central-1.compute.internal/172.30.12.164:34706: java.nio.channels.ClosedChannelException

有没有人有任何线索来解决这个错误？

顺便说一句，我使用 YARN 作为集群管理器

提前致谢

Answer 1

最后我解决了这个问题。这是由于磁盘空间不足。一列hadoop日志显示:

Hadoop YARN:1/1 本地目录是坏的:/var/lib/hadoop-yarn/cache/yarn/nm-local-dir； 1/1 日志目录不好:/var/log/hadoop-yarn/containers

谷歌搜索发现http://gethue.com/hadoop-yarn-11-local-dirs-are-bad-varlibhadoop-yarncacheyarnnm-local-dir-11-log-dirs-are-bad-varloghadoop-yarncontainers/

"If you are getting this error, make some disk space!"

要查看此错误，我必须在 EMR 中激活 yarn 日志。看

http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html

为了访问集群 ec2 实例中的日志端口，我更改了它的安全组

IE。:

master instance was listening here: 172.30.12.84:8088 And core instance here: 172.30.12.21:8042

最后，我修复了在 etl.py 中将实例类型更改为其他具有更大磁盘的实例的问题:

master: m3.2xlarge
core: c3.4xlarge