gpt4 book ai didi

java - Hadoop:使用自定义输入格式拆分大图像文件

转载 作者:可可西里 更新时间:2023-11-01 15:33:42 24 4
gpt4 key购买 nike

我正在处理大小大于 hdfs block 的大型地理图像文件。我需要将图像分成几个 strip (例如,高度为 100px),然后对它们应用一些处理,最后重建最终图像。为此,我创建了一个自定义输入格式(继承自 FileInputFormat)和一个自定义记录阅读器。我通过定义几个在记录阅读器中读取的 FileSplit(对应于一个 strip )以输入格式分割图像。

我不确定我的拆分过程是否经过优化,因为一个 strip 可以跨越 2 个 hdfs block ,而且我不知道如何将拆分“发送”给最好的工作人员(其中数量最少的工作人员)远程阅读)

目前我正在使用 FileInputFormat.getBlockIndex()使用拆分开始偏移量以获得拆分的主机。

你有什么建议可以帮助我解决这个问题吗?

附言我正在使用新的 Hadoop API

最佳答案

使用 HIPI 在 hadoop 上进行图像处理,[检查一下,http://hipi.cs.virginia.edu/ ][1]

关于java - Hadoop:使用自定义输入格式拆分大图像文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28831758/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com