java - 单元测试自定义输入输出格式

Question

我一直在尝试弄清楚是否可以为自定义输入和输出格式实现开发单元测试。我用 MUnit 找到了这个例子:https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial .看起来 MRUnit 只适合测试 mapper 和 reducer。我也看到了这篇文章:How to do unit testing of custom RecordReader and InputFormat classes? .但看起来这个特定示例取决于 HDFS 路径？

理想情况下，我需要的是能够在 IDE 环境 (Eclipse) 中测试自定义输入和输出格式实现作为 junit 测试用例。没有可用的单/多节点集群设置。在这种情况下如何进行单元测试？

Answer 1

您几乎可以执行线程中指定的相同操作:How to do unit testing of custom RecordReader and InputFormat classes?

以下设置实际上使 HDFS 代码以本地伪模式运行:

conf.set("fs.default.name", "file:///");