python - hadoop 流 : how to see application logs?

Question

我可以在我的 /usr/local/hadoop/logs 路径上看到所有 hadoop 日志

但是我在哪里可以看到应用程序级别的日志？例如:

映射器.py

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement  

reducer .py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

我在哪里可以看到 logging.info 或我的应用程序的相关日志语句？
我正在使用 Python 并使用 hadoop-streaming

谢谢

Answer 1

Hadoop 收集 stderr，可以在 hadoop map/reduce status 站点上查看。所以你可以只写到 stderr。