hadoop - Apache pig : How to use LoadCaster to convert Writable objects to Pig types?

Question

我们可以加载可写 KEY,VALUE 对的序列文件，并使用 LoadCaster 接口(interface)将 KEY,VALUE 对转换为 pig 数据类型，以将原始字节数组转换为 pig 数据类型吗？

如果是这样，是否有一些用于加载序列文件和调用 LoadCaster 的 pig 代码示例？

具体来说，我目前正在这样做:

A = LOAD '/tmp/part-m-00000' using SequenceFileLoader AS (key:bytearray, value:bytearray);

到目前为止这有效，但我不知道现在使用我自己创建的 LoadCaster 对象将键和值转换为它们各自的元组的 pig 语法。

Answer 1

似乎这个问题的答案是使用来自 Elephant Bird 的 SequenceFileLoader(并确保不要将 Elephant Bird 库中的那个与 piggybank 库中的旧那个混淆)。

这些转换器是按照同一包中其他转换器的模式实现的。