image - Hadoop InputSplit 之间是否重叠？-6ren

image - Hadoop InputSplit 之间是否重叠？

转载作者：可可西里更新时间：2023-11-01 14:59:21

25

4

我正在做一项 Hadoop 工作，对一个或多个可能非常大的 PGM 文件进行卷积。每个映射器将处理来自其中一个文件的一定数量的行，并且缩减器将文件重新组合在一起。但是，每个映射器都需要在其进行卷积的上下几行。通常这不是问题，因为我创建了一个 RecordReader 来获得这种冗余，但它对 InputSplit 的第一行和最后一行提出了一个问题，因为我无法访问上次拆分的行。

有什么方法可以使 InputSplits 重叠，以便第一行的最后几行是第二行的前几行？

最佳答案

您可以编写自己的自定义拆分器。参见 this post通过史蒂文·刘易斯

关于image - Hadoop InputSplit 之间是否重叠？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16110747/

25

4

0

文章推荐： hadoop - Pig Latin 中的分组

文章推荐： hadoop - 无法打开 SecondaryNameNode 的 Web UI 状态页面

文章推荐： c++ - 模板类比使用相同类型的非模板类大吗？

image - 将 image.Image 转换为 image.NRGBA
当我调用 png.Decode(imageFile) 时，它返回类型 image.Image。但我找不到将其转换为 image.NRGBA 或 image.RGBA 的记录方式，我可以在其上调用 At
image - go - 编码gif image.Image
image/jpeg 和 image/png 包有 Decode 和 Encode 函数，可以读取和写入 jpeg 和 png 图像，但 image/gif 包没有 - 只有 Decode 和 Dec
go - 如何将 image.RGBA (image.Image) 转换为 image.Paletted？
我正在尝试从一系列任意的非调色板图像创建动画 GIF。为了创建调色板图像，我需要以某种方式想出一个调色板。 // RGBA, etc. images from somewhere else var f
image - 使用 image.Image 或 *image.RGBA 的 Set() 方法
我在今年夏天的空闲时间使用 Go 镜像包进行一些练习。 package main import ( "os" "image" "image/png" "image/co
image - URI 的目标不存在 : 'package:image/image.dart'
关闭。这个问题需要debugging details .它目前不接受答案。想改进这个问题？将问题更新为 on-topic对于堆栈溢出。 1年前关闭。 Improve this question 今天
image - 如何使用位于当前工作目录之外的目录中的图像文件创建新的 Image()
我正在尝试在 TilePane 中列出图像。当我尝试创建图像 new ImageView("address"); 时出现错误，地址如下: "file:D:/Chrysanthemum.jpeg/" 以
html - 我接受 : accept ="image/gif, image/jpg, image/jpeg, image/png", 的输入文件允许选择其他扩展名
我有一个用于为画廊选择图像的表单，我希望允许用户仅选择 jpg、gif 和 png 图像格式。现在，为了测试，我将图像的扩展名更改为 .bmp，例如“image1.bmp”，当我在输入文件中单击以选
java - 给定一个 javafx.scene.image.Image 对象旋转它并产生一个旋转的 javafx.scene.image.Image 对象
我有创建图像的代码:(m_img 是 javafx.scene.image.Image) Image m_img = new Image("file:" + p_Fil.getAbsoluteFile
image - Golang 将原始图像 []byte 转换为 image.Image
假设我有一个这样的 8 位灰度图像: var pixels []byte = ... width := 100 height := 100 如何将其转换为实现 image.Image 的东西? 最佳答
php - href ='image/{{$image->id}}' 和 href ='/image/{{$image->id}}' 之间有区别吗？
这段代码是我在localhost:8088 URL上的索引/主页的一部分，如果我想将用户发送到url localhost:8088/image/1，我应该写href='image/{{$image->
python - PIL.Image 和 PIL.Image.Image 之间的混淆以及它们的正确使用方法？
我正在尝试对图像进行简单的裁剪。这是代码 from PIL.Image import Image def get_image_half(image, half="upper"): if hal
python - 如何将 wand.image.Image 转换为 PIL.Image？
我在这个问题上花了一整天，但在堆栈溢出中没有看到答案! 我试过了但是没用: >> pil_image = Image.frombytes('RGBA', wand_image.size, wa
css - border-left-image、border-right-image、border-top-image 和 border-bottom-image 是什么意思？
所以，我是那些以始终使用最新版本的浏览器而自豪的人之一(当然 Internet Explorer 除外 - 我说的不是那个浏览器)。我遇到了 this awesome CSS3 website详细介
image - 导轨 : Load default image if image_tag cannot load image from url
如果 image_tag 无法从 url 加载图像，我想呈现默认图像: 因此，如果 image_tag 无法从 url 加载图像: 然后呈现默认值: 这将生成结果 HTML: 关于image -
image - React 和 Webpack : Loading and displaying images as background-image
我正在创建一个类似横幅的组件，并将图像设置为组件的背景，但我无法让它工作。我尝试了网上发布的不同建议，但没有成功，目前我不确定我的错误是否在 react 代码中，或者是 webpack 没有正确加载文
dart - 错误 : The name 'Image' is defined in the libraries 'package:flutter/src/widgets/image.dart' and 'package:image/src/image.dart' . -- ambiguous_import
如何解决 Dart 中的这种歧义错误。 import 'dart:io'; import 'package:flutter/material.dart'; import 'package:camera
image - flutter : Display Local Image when Network Image not found or error fetching it?
Center( child: CachedNetworkImage( imageUrl: "http:/ sosme link he
javascript - 新手帮助 : mouseover on image sometimes returning wrong image from image map
设置 www.website.com/sds/(index.htm) 以便鼠标悬停在不同位置时显示图像。出于某种原因，当您将鼠标悬停在蓝色气球上时，图像 2.jpg 和 3.jpg(在蓝色气球上来回
html - 图片社交元标签 - 属性 ="og:image"名称 ="twitter:image"itemprop ="image"
社交网络在共享 URL 时可以很好地从网站中提取标题和描述，但对于图像，仍然需要创建自定义元标记:property="og:image" name="twitter:image" itemprop="
image - Golang - 使用 Image 和 Image/PNG 交换图片的 PNG channel
我正在尝试写一个简短的，它将读取一个 PNG 文件，并将一个 channel 与另一个 channel (R,G,B) 交换作为可能的选择。但是，我无法找到如何从 image.At(x,y) 返回的

首页

博学

6Ren·AI

商城

image - Hadoop InputSplit 之间是否重叠？