python - 如何从 eclipse 调试用 mrjob 编写的 python MapReduce 程序

Question

我正在尝试在 Ubuntu 下使用 eclipse 调试在 python 的 mrjob 库中编写的 mapreduce 作业。有谁知道如何做到这一点？

Answer 1

有时调试 MrJobs 可能是一个相当大的挑战。我的学习曲线从使用 try...except 映射器和缩减器中的子句开始，将生成的异常(使用 traceback 模块)生成到结果中，而不是中断作业流程。但是第一种方法很耗时，因为很多时候你必须等待几分钟才能完成工作，最后，大多数错误都以 undefined variable 或语法错误告终。因此，我尝试使用小型测试日志来提供作业，这大大减少了运行作业以查看问题所在的时间。另一种方法是在 hadoop 之外测试映射器和缩减器，这可能非常方便，因为您可以为此目的使用 pdb，并快速找出问题。

最后，你也可以尝试使用 MrJob 文档的建议，然后你会发现如何在本地运行作业非常方便: http://packages.python.org/mrjob/runners-inline.html