python - 登录 Hadoop

Question

我正在尝试运行 map reduce 作业。但是当我运行这个作业时，我无法找到我的日志文件。我正在使用 hadoop 流作业来执行 map reduce，我正在使用 Python。我正在使用 python 的日志记录模块来记录消息。当我使用“cat”命令在文件上运行它时，会创建日志文件。

cat file | ./mapper.py 

但是当我通过 hadoop 运行这个作业时，我无法找到日志文件。

import os,logging

logging.basicConfig(filename="myApp.log", level=logging.INFO)
logging.info("app start")

##
##logic with log messages
##

logging.info("app complete")

但是我在任何地方都找不到 myApp.log 文件。日志数据是存储在任何地方还是 hadoop 忽略应用程序日志记录完成。我也在 userlogs 文件夹中搜索了我的日志项，但看起来我的日志项不在那里。

我处理大量数据，其中随机项目没有进入下一阶段，这对我们来说是一个非常大的问题，所以我试图找到一种方法来使用日志记录来调试我的应用程序。

感谢任何帮助。

Answer 1

我相信您正在登录 stdout？如果是这样，您绝对应该登录 stderr，或者创建您自己的自定义流。

使用 hadoop-streaming，stdout 是专用于在映射器/缩减器之间传递键值并输出结果的流，因此您不应在其中记录任何内容。