gpt4 book ai didi

hadoop - 使用MRJob获取字节偏移

转载 作者:行者123 更新时间:2023-12-02 21:57:06 24 4
gpt4 key购买 nike

根据“Hadoop权威指南”,输入格式TextInputFormat提供键值对(k, v) = (byte offset, line)。但是,在MRJob中,映射器输入中的键始终为None。获取字节偏移量作为键应该很容易,因为这就是TextInputFormat所做的。我怎么得到这个?

我知道您可以使用环境变量'map_input_start'自己计算字节偏移量,但这已经引起了问题,我想以更简单的方式来获取偏移量作为键。

最佳答案

TextInputFormat是一个Java类。我看不到它在流媒体世界中如何工作。

关于hadoop - 使用MRJob获取字节偏移,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/11422142/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com