个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
25
4
我有一个项目需要我处理大量(1000-10000)大(100MB 到 500MB)图像。我正在进行的处理可以通过 Imagemagick 完成，但我希望实际上是在 Amazon 的 Elastic MapReduce 平台(我相信该平台使用 Hadoop 运行)上进行处理。
在我找到的所有示例中，它们都处理基于文本的输入(我发现 Word Count 样本有十亿次)。我找不到任何有关 Hadoop 此类工作的信息:从一组文件开始，对每个文件执行相同的操作，然后将新文件的输出作为它自己的文件写出。
我很确定这可以用这个平台来完成，并且应该可以用 Bash 来完成；我认为我不需要费心去创建整个 Java 应用程序或其他东西，但我可能是错的。
我不是要别人给我代码，但如果有人有示例代码或指向处理类似问题的教程的链接，我将不胜感激......
最佳答案
你的任务有几个问题。
Hadoop 本身并不像您所看到的那样处理图像。但是您可以将所有文件名和路径导出为文本文件并在其上调用一些 Map 函数。因此，对本地磁盘上的文件调用 ImageMagick 应该不是什么大问题。
但是您如何处理数据局部性？
您无法在 HDFS 中的文件上运行 ImageMagick(只有 Java API 和 FUSE 挂载不稳定)并且您无法预测任务调度。因此，例如可以将映射任务安排到图像不存在的主机。
当然，您可以只使用一台机器和一个任务。但是你没有任何改进。然后你就会有一大堆开销。
当您从 Java 任务中退出时，也会出现内存问题。我写了一篇关于它的博文 [1]。
and should be able to be done using Bash
那是下一个问题，你至少得写个 map task 。您需要一个 ProcessBuilder 来调用具有特定路径和函数的 ImageMagick。
I cannot find anything about this kind of work with Hadoop: starting with a set of files, performing the same action to each of the files, and then writing out the new file's output as it's own file.
猜猜为什么？ :D Hadoop 不适合这项任务。
所以基本上我会建议在 EC2 中手动将您的图像拆分到多个主机并在其上运行 bash 脚本。它压力更小，速度更快。要在同一主机上并行化，请将文件拆分到每个核心的多个文件夹中，然后在其上运行 bash 脚本。这应该可以很好地利用您的机器，并且比 Hadoop 更好。
[1] http://codingwiththomas.blogspot.com/2011/07/dealing-with-outofmemoryerror-in-hadoop.html
关于bash - 使用 Amazon MapReduce/Hadoop 进行图像处理，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7816334/
25
4
0
我用 IntelliJ IDEA 2021.1 CE 在 流行!_OS 20.04 与 bash 5.0.17 . 问题造句:我将IntelliJ终端设置为/bin/bash通过 IntelliJ 设
给定如下命令: bash --shortcuts 我想显示一个快捷方式列表，就像在这个页面上一样: http://www.skorks.com/2009/09/bash-shortcuts-for-m
我有一个脚本可以操作数据、创建参数并将它们发送到第二个脚本。其中一个参数包含一个空格。 脚本1.sh: args=() args+=("A") args+=("1 2") args+=("B") .
我的脚本的“只运行一次”版本的一个非常简单的示例: ./myscript.sh var1 "var2 with spaces" var3 #!/bin/bash echo $1 #output: va
我想了解数字( double )在 bash 中是如何表示的，以及当我在 bash 中以十六进制格式打印数字时会发生什么。 根据 IEEE 754 标准，double 应由 64 位表示:52 位(1
我试图在 bash -c "..." 命令中获取 bash 脚本，但它不起作用。 如果我在 bash -c "..." 之外运行命令，它会起作用。 我需要使用 bash -c "..." 因为我想确保
如何检测我的 bash shell 中是否加载了 bash 补全包？从 bash-completion 的 2.1 版(包含在 Debian 8 中)开始，除了 BASH_COMPLETION_COM
我的 bash_profile 中有一个投影函数。现在我试图从 bash 脚本中调用这个函数，但是我得到了一个未找到的错误。如何使投影函数对 bash 脚本可见？ 最佳答案 必须导出函数 export
我正在编写一个 bash 脚本，它接受许多命令行参数(可能包括空格)并通过登录 shell 将它们全部传递给程序 (/bin/some_program)。从 bash 脚本调用的登录 shell 将取
当我创建一个新的 bash 进程时，提示符默认为一个非常简单的提示符。我知道我可以编辑 .bashrc 等来更改它，但是有没有办法使用 bash 命令传递提示？ 谢谢! 最佳答案 提示由 PS1、PS
好的，我希望这个问题有一定道理，但是 bash shell 和 bash 终端之间有什么区别？例子。当我第一次打开终端时，会提示我当前的目录和用户名。在终端窗口标题中显示 -bash- ，当我键入 e
我是 SBCL 的新手，我正在尝试从 bash 终端运行存储在文本文件中的 Lisp 脚本。 这是我在文件开头写的内容 http://www.sbcl.org/manual/#Running-from
我知道我们可以在 bash 中使用将十六进制转换为十进制 #!/bin/bash echo "Type a hex number" read hexNum echo $(( 16#$hexNum ))
我正在尝试在 bash 脚本中自动完成文件夹名称。如果我输入完整的文件夹名称，一切正常，但我不知道如何自动完成名称。有什么想法吗？ repo() { cd ~/Desktop/_REPOS/$1 }
我想检查远程网站上的一些文件。 这里是bash命令生成计算文件md5的命令 [root]# head -n 3 zrcpathAll | awk '{print $3}' | xargs -I {}
是否有任何内置函数可以使用 bash shell 脚本从给定日期获取下周日(下周一、下周二等)？例如，2014 年 9 月 1 日之后的第一个星期日是什么时候？我预计 2014 年 9 月 7 日。
我一直在尝试根据表格重命名一些特定文件，但没有成功。它要么重命名所有文件，要么给出错误。 该目录包含数百个以长条形码命名的文件，我只想重命名包含模式 _1_ 的文件。 例子 barcode_1_bar
bash 中有没有办法用变量的内容替换文本文件中的占位符？ 例如，我想发送一封电子邮件通知，如下所示: Dear Foo, Alert: blah blah blah blah blah blah
我有一个 bash 脚本，它在某些字符串上附加了一个重音字符，导致它失败，我找不到这些字符在哪里或如何进入那里。 这是一些示例输出: mv: cannot move â/tmp/myapp.zipâ
这个问题在这里已经有了答案: How do I place stdout on edit line? (1 个回答) Can a bash script prepopulate the prompt
我是一名优秀的程序员,十分优秀！