gpt4 book ai didi

hadoop - Apache pig : Can we convert a custom Writable object to Pig format?

转载 作者:可可西里 更新时间:2023-11-01 14:47:33 25 4
gpt4 key购买 nike

我们有一个自定义可写值对象的 SequenceFile,该对象本质上等同于 Pig 中的复杂包数据类型。

有没有一种方便的方法,我们可以编写自定义函数将hadoop Writable对象转换为bag数据类型,然后使用pig脚本对其进行处理?

最佳答案

一种选择是查看 elephant-bird - 如果你向下滚动这个 github 页面到 README 部分,它有一个关于 Pig 的部分:

Pig

  • Includes converter interface for turning Tuples into Writables and vice versa

我从来没有用过它,我想你必须自己实现一些代码(可能是 com.twitter.elephantbird.pig.util.WritableLoadCaster 抽象类的扩展和 SequencedFileLoader 来使用你的加载施法器实现加载你的序列文件

关于hadoop - Apache pig : Can we convert a custom Writable object to Pig format?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16540651/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com