gpt4 book ai didi

image - Hadoop InputSplit 之间是否重叠?

转载 作者:可可西里 更新时间:2023-11-01 14:59:21 25 4
gpt4 key购买 nike

我正在做一项 Hadoop 工作,对一个或多个可能非常大的 PGM 文件进行卷积。每个映射器将处理来自其中一个文件的一定数量的行,并且缩减器将文件重新组合在一起。但是,每个映射器都需要在其进行卷积的上下几行。通常这不是问题,因为我创建了一个 RecordReader 来获得这种冗余,但它对 InputSplit 的第一行和最后一行提出了一个问题,因为我无法访问上次拆分的行。

有什么方法可以使 InputSplits 重叠,以便第一行的最后几行是第二行的前几行?

最佳答案

您可以编写自己的自定义拆分器。参见 this post通过史蒂文·刘易斯

关于image - Hadoop InputSplit 之间是否重叠?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16110747/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com