hadoop - MRUnit - 没有按预期工作

Question

我只有一个映射器类，它创建用于批量加载到 HBase 的文件，并且我编写了一个 MRUnit 用于单元测试。

虽然预期结果和重试结果相同，但 MRUnit 失败并显示消息“缺少预期输出”。

预期输出:(4b 65 79 31, {"totalColumns":1,"families":{"default":[{"timestamp":9223372036854775807,"qualifier":"default","vlen":6}]},"row":"Key1"})

实际输出:(4b 65 79 31, {"totalColumns":1,"families":{"default":[{"timestamp":9223372036854775807,"qualifier":"default","vlen":6}]},"row":"Key1"})

我哪里错了？ImmutableBytesWritable 或 Put 有问题吗？

Answer 1

所以你的失败是因为 MRUnit 使用了 equals和 hashCode对象的方法来比较预期的和实际的输出对象(在 org.apache.hadoop.mrunit.TestDriver.buildPositionMap(List<Pair<K2, V2>>) 方法中使用了一个 HashMap):

• ImmutableBytesWritable - 是否实现 equals和 hashCode方法
• Put - 没有实现 equals或 hashCode方法

所以 Put 是导致问题的原因。解决此问题的唯一方法是手动检查驱动程序输出(使用驱动程序 run 方法而不是 runTest )并将结果列表与您使用对象 compareTo 期望的结果进行比较方法(这两个类都存在)。