gpt4 book ai didi

hadoop - 日志未出现在控制台中 :( [Hadoop Question]

转载 作者:可可西里 更新时间:2023-11-01 14:47:52 25 4
gpt4 key购买 nike

我正在尝试调试 Cloudera Hadoop 的 WordCount 示例,但我做不到。我已经记录了 mapper 和 reducer 类,但是在控制台中没有出现日志。

我附上图片。在第一张图片中,Java 日志。

在第二个图像中,结果记录。它没有出现第一个:( http://i56.tinypic.com/2eztkli.png

有人知道吗?非常感谢!!

最佳答案

您正在执行“hadoop jar ...”,因此您正在使用实际的 Hadoop 集群(可能是单节点)开始您的工作。

这意味着所有日志记录都由集群完成,而不是在控制台上完成。您在控制台上看到的基本上只是一个进度指示器。

您的作业被拆分为一个或多个映射任务和一个或多个缩减任务。这些任务中的每一个都是一个单独的 java 进程,并且将有单独的日志记录(由多个文件组成)。

您应该在 $HADOOP_LOG_DIR/userlogs 中找到这些日志文件

因为很多事情是并行完成的,所以您不希望这些日志文件成为“一个”巨大的日志文件。它会变得毫无用处。

现在学习和开发 hadoop 应用程序有一个更简单的方法:只需将应用程序作为普通 Java 应用程序启动,以本地模式运行您的应用程序:java -jar ...

关于hadoop - 日志未出现在控制台中 :( [Hadoop Question],我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4402031/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com