python - Hadoop 和 Python : View Error

Question

我正在使用 Hadoop 流式处理来运行一些 Python 代码。我注意到，如果我的 Python 代码(例如 mapper.py 中)有错误，我将不会收到有关该错误的通知。相反，mapper 程序将无法运行，并且该作业将在几秒钟后被终止。查看日志，我看到的唯一错误是 mapper.py 运行失败或找不到，显然不是这样。

我的问题是，是否有特定的日志文件可供我检查以查看 mapper.py 代码中可能存在的实际错误？ (例如，如果导入命令失败，会告诉我)

谢谢!

编辑:使用的命令:

bin/hadoop jar contrib/streaming/hadoop-streaming.jar \ -file /hadoop/mapper.py -mapper /hadoop/mapper.py -file /hadoop/reducer.py -reducer /hadoop/reducer.py -input /hadoop/input.txt -output /hadoop/output

以及我想查看错误的引用帖子: Hadoop and NLTK: Fails with stopwords

Answer 1

关于日志问题，看看这个有帮助:

MapReduce: Log file locations for stdout and std err

我想如果 python 文件运行失败，那么解释器应该打印到标准输出，你会在该节点的标准输出日志中看到它。