json - 可以用其他信息扩展avro json吗？

Question

avro格式在hadoop中用作 header ，以描述随后的二进制文件的内容。我的问题是avro文件的json部分是否可以扩展为包含hadoop不需要的信息？典型的用例是将元数据(如文件的始发者和日期)附加到文件，而不必将其作为数据和文件的一部分。

Answer 1

是。可以使用json模式中的其他信息或特定的其他name:value对来注释Avro文件。此外，我们已经能够使用Pentaho和Google Big Query读取这些avro文件。需要注意的是，在导入过程中会丢弃架构和名称:值对。因此，如果您觉得以后需要它们，则应提取并存储它们的本地副本。