hadoop - 在 AMAZON EMR 上运行 yarn 应用程序

Question

我想在 AMAZON EMR 上运行 yahoo 的项目storm-on-yarn。在 EMR 上，supervisor 本地目录无法创建。我想可能是连接问题或没有权限。
你能给我一些建议吗？感谢您的帮助。

2017-03-01 11:38:02 supervisor [ERROR] Error on initialization of server mk-supervisor java.io.IOException: Unable to create directory /mnt/yarn,/mnt1/yarn/usercache/yarn/appcache/application_1488367739843_0002/container_1488367739843_0002_01_000006/storm/storm-1.0.1/storm-local/supervisor at org.apache.storm.shade.org.apache.commons.io.FileUtils.forceMkdir(FileUtils.java:2384) ~[storm-core-1.0.1.jar:1.0.1] at org.apache.storm.config$supervisor_local_dir.invoke(config.clj:172) ~[storm-core-1.0.1.jar:1.0.1] at org.apache.storm.config$supervisor_isupervisor_dir.invoke(config.clj:177) ~[storm-core-1.0.1.jar:1.0.1] at org.apache.storm.daemon.supervisor$fn__9230$exec_fn__2461__auto____9231.invoke(supervisor.clj:781) ~[storm-core-1.0.1.jar:1.0.1] at clojure.lang.AFn.applyToHelper(AFn.java:160) ~[clojure-1.7.0.jar:?] at clojure.lang.AFn.applyTo(AFn.java:144) ~[clojure-1.7.0.jar:?] at clojure.core$apply.invoke(core.clj:630) ~[clojure-1.7.0.jar:?] at org.apache.storm.daemon.supervisor$fn__9230$mk_supervisor__9275.doInvoke(supervisor.clj:779) [storm-core-1.0.1.jar:1.0.1] at clojure.lang.RestFn.invoke(RestFn.java:436) [clojure-1.7.0.jar:?] at org.apache.storm.daemon.supervisor$_launch.invoke(supervisor.clj:1216) [storm-core-1.0.1.jar:1.0.1] at org.apache.storm.daemon.supervisor$_main.invoke(supervisor.clj:1249) [storm-core-1.0.1.jar:1.0.1] at clojure.lang.AFn.applyToHelper(AFn.java:152) [clojure-1.7.0.jar:?] at clojure.lang.AFn.applyTo(AFn.java:144) [clojure-1.7.0.jar:?] at org.apache.storm.daemon.supervisor.main(Unknown Source) [storm-core-1.0.1.jar:1.0.1]

Answer 1

无密码 SSH 已经是默认设置，您必须专门使用密码启用 SSH 登录(这样做不是一个好主意，因为它不如使用 key 对安全，我认为这就是您所说的“ssh 无密码登录”)。

创建 EMR 集群时，您可以选择指定要使用的 SSH key 的名称(在已经上传公钥或使用 AWS 控制台/CLI 为您创建 key 对之后)，然后您可以 SSH 到带有私钥的 EMR 集群的主实例(通常是 .pem 文件)。

有关详细信息，请参阅以下页面:
http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html

很难说出问题出在哪里，因为您没有提供太多信息，但听起来您可能已经以“ec2-user”的身份通过 SSH 连接到集群。使用 EMR 时，您应该以“hadoop”用户身份通过​​ SSH 连接到集群。如果这不能解决您的问题，请使用有关您正在做什么的更多详细信息更新问题。