mapreduce - Avro 入门

Question

我想开始使用 Avro 和 Map Reduce。有人可以建议一个很好的教程/示例来开始使用。我无法通过互联网搜索找到太多内容。

Answer 1

我最近做了一个项目，主要基于 Avro 数据，之前没有使用过这种数据格式，我不得不从头开始。您是对的，在开始使用 Avro 时，很难从在线资源中获得很多帮助。我向您推荐的 Material 是:

到目前为止，我发现的最有用的来源是 Tom White 的 Hadoop: The Definitive Guide 中的 Avro 部分 (p103-p116)。书以及他的 Github page对于他在书中使用的代码。

有关其他代码示例，我查看了 Ron Bodkin 的 Github 页面 avro-mr-sample .

就我而言，我使用 Python 来读取和写入 Avro 文件，为此我使用了这个 tutorial .

即使很明显，我也会添加链接到Avro Users mailing list .在那里可以找到大量信息，在我阅读了上述 Material 并实现了一堆代码之后，我发现自己花了几个小时浏览文件。

最后，我给你的最后一个建议是使用 带有 Hadoop 0.20.2 的 Avro 1.4.1 并且只有那个组合。我在使用 Hadoop 0.21 和更新的 Avro 版本运行我的代码时遇到了一些主要问题。