java - 不论模式如何，在 map 中读取avro文件记录都会减少

Question

我需要编写一个map reduce程序来从整个hdfs文件中读取avro文件。我的映射器代码输入将是具有不同架构的不同avro文件。在我的代码的映射器部分中，无论文件模式如何，我都需要读取文件的整个记录​​。谁能告诉我我们如何才能从avro中读取整个记录。

提前致谢。

Answer 1

一般来说，我认为这是可行的。不确定要实现的目标，但可以说您想对由相同模式支持的记录做些什么。

在您的映射器中，读取字节并获取架构json。这是一个如何获取模式的示例:http://www.programcreek.com/java-api-examples/index.php?api=org.apache.avro.generic.GenericDatumReader
映射器中的键将是架构json字符串，而值将是记录(字节)。然后在化简器中，您将拥有所有相同的架构，并且您将能够使用GenericRecord使用提供的架构对数据进行反序列化，并执行您想要的任何事情。