gpt4 book ai didi

java - 是否可以使现有的 mapreduce 程序从输入文件的指定偏移量开始运行

转载 作者:可可西里 更新时间:2023-11-01 15:35:54 25 4
gpt4 key购买 nike

有什么方法可以运行现有的 mapreduce 程序,使其仅从输入文件的给定偏移量开始处理?

例如:如果给定的偏移量是 500,mapreduce 程序应该从第 500 个字节开始处理输入文件。

最佳答案

这是可能的,但需要 Java 编码和创建自定义 InputFormat。例如,您可以子类化 FileInputFormat 并覆盖方法 public List getSplits(JobContext job)protected FileSplit makeSplit(Path file, long start, long length, String[] hosts)。要传递起始偏移量,您可以使用可通过 job.getConfiguration().getInt(YOUR_PARAM_NAME, 0)

访问的配置参数

关于java - 是否可以使现有的 mapreduce 程序从输入文件的指定偏移量开始运行,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/25700459/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com