hadoop - 使用spark读取avro数据并无法将org.apache.avro.util.Utf8强制转换为java.lang.String异常

Question

我正在使用以下代码在Spark中读取Avro:

val inputData = sc.hadoopFile(inputPath,
  classOf[AvroInputFormat[GenericRecord]],
  classOf[AvroWrapper[GenericRecord]]).map(t => 
{ val genericRecord = t._1.datum()  
(String)genericRecord.get("name") });

加载部分工作正常，但转换为字符串部分失败:

Caused by: java.lang.ClassCastException: org.apache.avro.util.Utf8 cannot be cast to java.lang.String

为了简化示例，我使用一行

(String)genericRecord.get("name") 

实际上，这部分来自一个库，该库在hadoop贴图减少作业中很好用。但是，当我现在在spark中使用该库时，由于上述异常，它失败了。

我知道我可以将代码更改为 genericRecord.get("name").toString()使其工作，但是由于我在另一个hadoop mapreduce作业中很好地使用了它，所以我希望所有utf8都可以自动转换为String，这样我就不需要更改所有代码逻辑。

综上所述，如何使 org.apache.avro.util.Utf8中的所有 GenericRecord自动转换为 java.lang.String？

Answer 1

看起来解决方案是使用AvroKey而不是AvroWrapper。下面的代码有效，所有org.apache.avro.util.Utf8都会自动转换为java.lang.String。也不异常(exception)。

val inputData = sc.newAPIHadoopFile(inputPath,
classOf[AvroKeyInputFormat[GenericRecord]],
classOf[AvroKey[GenericRecord]],
classOf[NullWritable]).map(t => 
{ val genericRecord = t._1.datum()  
(String)genericRecord.get("name") });