gpt4 book ai didi

hadoop - hadoop真的能处理数据节点故障吗?

转载 作者:可可西里 更新时间:2023-11-01 14:32:18 24 4
gpt4 key购买 nike

在我们的 hadoop 设置中,当数据节点崩溃(或)hadoop 在数据节点上没有响应时,reduce 任务失败无法从失败的节点读取(下面的异常)。我认为 hadoop 处理数据节点故障,这是创建 hadoop 的主要目的。有人在他们的集群中遇到类似的问题吗?如果您有解决方案,请告诉我。

java.net.SocketTimeoutException: Read timed out
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(Unknown Source)
at java.io.BufferedInputStream.fill(Unknown Source)
at java.io.BufferedInputStream.read1(Unknown Source)
at java.io.BufferedInputStream.read(Unknown Source)
at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.getInputStream(ReduceTask.java:1547)
at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.setupSecureConnection(ReduceTask.java:1483)
at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.getMapOutput(ReduceTask.java:1391)
at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.copyOutput(ReduceTask.java:1302)
at org.apache.hadoop.mapred.ReduceTask$ReduceCopier$MapOutputCopier.run(ReduceTask.java:1234)

最佳答案

当 mapreduce 作业的任务失败时,Hadoop 将在另一个节点上重试您可以查看 jobtracker (:50030/jobtracker.jsp) 并查看列入黑名单的节点(存在 keep-alive 问题的节点)或钻取正在运行/已完成的作业并查看已终止任务/重试的次数以及死节点、退役节点等。

关于hadoop - hadoop真的能处理数据节点故障吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8302014/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com