java - Hadoop 总是以 java.util.concurrent.TimeoutException 结束

Question

我是 Hadoop 的新手，我写了一些工作，无论如何总是以这个结束:

    WARN util.ShutdownHookManager: ShutdownHook '' timeout, java.util.concurrent.TimeoutException
java.util.concurrent.TimeoutException
    at java.util.concurrent.FutureTask.get(FutureTask.java:205)
    at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:67)

我在 Mac(Sierra 10.12.6)上运行它，并且我已经使用自制软件安装了 Hadoop。

这甚至在运行 hadoop 文档中的 wordcount 示例时也会发生。

这很奇怪，因为我在处理过程中没有收到任何错误，并且得到了我期望的输出。

只是想知道是否有人遇到过同样的问题，以及是否有任何我遗漏的额外配置。

提前致谢!

Answer 1

Hadoop 作业关闭 Hook 的默认超时为 30 秒。您可以通过配置 hadoop.service.shutdown.timeout 来更改此超时。在 core-site.xml .
您可以在 ShutdownHookManager 中找到与此超时相关的代码。类(class)。

 static long getShutdownTimeout(Configuration conf) {
    long duration = conf.getTimeDuration("hadoop.service.shutdown.timeout", 30L, TIME_UNIT_DEFAULT);
    if (duration < 1L) {
      duration = 1L;
    }

    return duration;
  }