c++ - Hadoop 的可移植键值数据文件格式？

Question

我正在寻找一种可移植的键值数据文件格式，它可以作为 Hadoop 的输入和输出格式，并且除了 Hadoop 之外还可以直接在 C++、Java 和 Python 中读写。一个问题...我需要支持使用非 Java 映射器和缩减器进行处理(特别是通过 Hadoop 管道的 C++)。

有什么想法吗？我是否应该编写自己的可与 Hadoop 和 Hadoop 管道互操作的可移植键值文件格式？这种新格式对社区有用吗？

长版:Hadoop 序列文件(及其同类 Map、Set、Array 和 BloomMap)似乎是使用 Hadoop 时高效二进制键值数据存储的标准。序列文件的一个缺点是它们只能在 Java 中可读和可写(它们是根据序列化的 Java 对象指定的)。我想构建一个复杂的多阶段 MapReduce 管道，其中各个阶段的输入和输出必须可以从 C++、java 和 python 读取和写入。此外，我需要能够使用 java 以外的语言(即 c++)编写映射器和缩减器，以便在映射阶段使用大型且高度优化的 c++ 库。

我考虑过各种变通办法，但没有一个看起来……有吸引力。

1. Convert :在每个 MapReduce 阶段之前和之后添加额外的转换阶段，以在序列文件和与其他语言兼容的可移植格式之间转换阶段的输入和输出。
   • 问题:阶段之间消耗和生成的数据非常大 (TB)...在每个阶段多次复制数据只是为了获得不同编程语言的读/写访问权限，代价高昂。有 10 个阶段，这对我来说开销太大($$$)。
2. Avro 文件 :使用 Avro 的可移植数据文件格式。
   • 问题:虽然似乎确实有代码允许可移植的 Avro 数据文件作为 MapReduce 中的输入或输出格式，但它仅适用于用 Java 编写的映射器和缩减器。我已经看到一些关于通过 avro/mapred/tether 包创建对其他语言的映射器支持的讨论，但目前仅支持 java。来自文档:“目前只实现了一个 Java 框架，用于测试目的，所以这个功能还没有用。” http://avro.apache.org/docs/1.5.4/api/java/org/apache/avro/mapred/tether/package-summary.html
3. Avro 文件 + SWIG:将 Avro 数据格式与 Java 映射器结合使用，调用从分布式缓存访问的自定义 SWIG 包装的 c++ 库以进行实际处理。
   
   • java 字符串的不变性使得编写 SWIG 包装器变得痛苦且效率低下，因为需要一个拷贝。此外，这么多层的包装开始成为维护、调试和配置的噩梦!

我正在考虑基于与 Hadoop 和 Hadoop Pipes 互操作的 H-File 格式编写我自己的语言可移植键值文件格式...是否有更好的现成替代方案？这种可移植格式对社区有用吗？

Answer 1

我认为您做出了一些错误的假设:

One downside of Sequence Files is that they are readable and writable only in Java (they are specified in terms of serialized java objects)

取决于序列化 java 对象的含义。 Hadoop 使用 WritableSerialization 类来提供序列化的机制，而不是默认的 Java 序列化机制。您可以将 hadoop 配置为使用默认 Java 序列化 (JavaSerialization)，或您选择的任何自定义实现(通过 io.serializations 配置属性)。

因此，如果你使用 Hadoop 可写机制，你只需要为 C++ 编写一个可以解释序列文件的读取器，然后编写你希望序列化的类的 c++/python 等价物(但这将是一个维护的痛苦，然后引出你的第二个问题，Avro)

Furthermore, I need to be able to write mappers and reducers in a language other than java (i.e. c++) in order to use large and highly optimized c++ libraries in the mapping stage

您可以使用 python/c++/当前使用 Hadoop Streaming 的任何语言编写映射器/缩减器，并使用序列文件来存储中间格式。所有流式传输都需要您的映射器/缩减器/组合器期望在 key\tvalue 中的标准输入上输入对(您可以自定义分隔符而不是制表符)，并以类似的格式输出(同样是可自定义的)。

• http://hadoop.apache.org/common/docs/current/streaming.html (我确定您已经找到此链接，但以防万一)。

那么，如果您想将更复杂的键/值对传递到/从流式映射器/缩减器怎么办 - 在这种情况下，我会说查看自定义 contrib/流式源代码，特别是 PipeMapper、PipeReducer 和 PipeMapRed 类。例如，您可以将输出/输入修改为 <Type-int/str,Length-int,Value-byte[]>元组，然后修改您的 python/c++ 代码以进行适当的解释。

通过这些修改，您可以使用 Avro 来管理围绕 hadoop 流框架 (Java) 和您的 c++/python 代码之间的序列化的代码。您甚至可以使用 Avro。

最后 - 你看过 AvroAsTextInputFormat 了吗？和 AvroTextOutputFormat类，它们可能正是您正在寻找的(警告，我从未使用过它们)