image-processing - Hadoop 将图像分割成小块以进行分割过程

Question

我想使用 Hadoop 处理大规模图像的分割(Pleiades 图像 tif 格式)

这个想法是将图像分割成小块并将它们分发到每个节点。

map task 将是分割过程。我使用 C++ 编写的 OTB 库开发了分割算法。

我创建了一个 otb 应用程序，它可以通过给出瓦片的路径从 java 程序启动，它返回分段的瓦片。

我真的不知道如何实现拆分机制，我必须自定义 fileInputFormat 类和 RecorReader 类但是输入键和输入值的类型。

实际上，我必须找到通往瓷砖的路径才能分割......

如果有人有建议？

最好的祝福，

Answer 1

解决方案策略可能取决于图像的数量和它们的大小。
如果您有很多图像(比集群中的空闲映射器插槽数量多得多)，您可能会考虑使用 StreamInputFormat 处理映射器内部的每个图像并使用您的分割算法。否则你可能需要实现你自己的 InputFormat 来形成正确的 InputSplits。