java - HCatRecord中的错误

Question

我正在通过一个POC，在其中需要为我的映射器编写MRUnit测试用例，该映射器使用输入格式作为Hcatalog

    public class MapClass extends
    Mapper<WritableComparable, HCatRecord, Text, Text> {

但是我在这些代码行面临问题

   HCatRecord record = new HCatRecord();
   record.set(0, "0");
   record.set(1, "0");


   mapDriver.withInput(new LongWritable(), record)
            .withOutput(new Text("sunday"), new Text(""))
            .runTest();

错误::
mapDriver.withInput(new LongWritable()，record)抛出java.lang.RuntimeException:java.lang.NoSuchMethodException:com.MRScoringUnitTest $ 1。()

Answer 1

许多自定义文件的输入/输出格式不适用于MRUnit。甚至HCatInputFormat也不能与MRUnit一起使用。 HCatlog API需要一个有效的配置单元元存储来通过mapreduce访问表。

当您的代码具有任何自定义映射缩减组件(如比较器，分区器或输入/输出格式)时，MRUnit不能用于单元测试。

小型集群可用于对其进行测试。

https://github.com/apache/hcatalog/blob/branch-0.1/src/test/org/apache/hcatalog/mapreduce/HCatMapReduceTest.java