ruby - Hadoop环境变量

Question

我正在尝试使用Mac上的单节点Hadoop群集调试一些问题。在所有安装文档中，它都说要添加:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

删除此错误:

Unable to load realm info from SCDynamicStore

这有效，但似乎仅适用于STDOUT。当我检查Hadoop日志目录时，在“job _ ### / atempt _ ### / stderr”下，错误仍然存​​在:

2013-02-08 09:58:23.662 java[2772:1903] Unable to load realm info from SCDynamicStore

我很难将RVM ruby 加载到Hadoop环境中以通过Hadoop流执行Ruby代码。 STDOUT正在打印已加载RVM并使用正确的Ruby / gemset，但我的STDERR记录:

env: ruby_noexec_wrapper: No such file or directory

有什么方法可以找出Hadoop实际用于执行作业的路径，或者是否在这里调用其他环境？

进一步的背景:

我正在使用通过Homebrew安装的Hadoop 1.1.1。它的设置方式与“ INSTALLING HADOOP ON MAC OSX LION”非常相似，并调试 wukong 3.0.0的实现作为执行Hadoop作业的包装。

Answer 1

要回答我自己的问题，以便其他人可以找到它。

我似乎在hadoop-env中加载了rvm，但是添加群集后一定没有重启群集。要确保已加载 ruby 和 gem 集，请将标准rvm子句添加到hadoop-env.sh中。就像是:

[[ -s "/Users/ScotterC/.rvm/scripts/rvm" ]] && source "/Users/ScotterC/.rvm/scripts/rvm"

并确保重新启动群集，以便对其进行拾取。奇怪的是，没有重新启动，我的日志显示它正在加载rvm，但是显然它没有执行该ruby及其各自的gemfile。重新启动后，它的工作。