hadoop - 尝试在 Hue 中运行工作流时出现 Oozie 错误

Question

我目前无法让 Oozie 在我的 hadoop 安装上正常工作。感谢任何输入，因为我是所有这一切的初学者。我用:hadoop 2.6.0(带 Yarn)、oozie 4.0.1、hive 1.0.0、hue 3.7.1、pig 0.12它是我在伪分布式中运行的本地安装。我从 tars 安装了所有东西并手动配置了它，因为遗憾的是从 cloudera 一键安装在 OS X 中不起作用。

据我所知，Hadoop+Hive 在 CLI 和 Hue 中都运行良好。

Hue 的 Pig 编辑器还不能很好地工作，我可以访问和使用来自 HDFS 的文件，但是当我尝试使用 HCatalog 访问 Hive 表时出现错误(错误 2245:无法从 loadFunc org.apache.hcatalog.pig 获取架构.HCatLoader)。

但现在更重要的是 Oozie 调度程序的工作，但它没有。例如，当我尝试在 Oozie 工作流中运行一个 shellscript 时，我得到了这个错误:

Cannot run program "testscript.sh" (in directory "/Volumes/WS2Data/hadoop_hdfs/tmp/nm-local-dir/usercache/admin/appcache/application_1427878722813_0003/container_1427878722813_0003_01_000002"): error=2, No such file or directory

现在我试图了解这里发生了什么:Hadoop 试图在 appcache 目录中缓存什么？剧本？ (脚本本身不涉及 I/O，它只是一个简单的 shell 命令)

Afaik 它的 hadoop 缓存在这些目录中，而不是 Oozie，对吧？那为什么Oozie找不到应用容器呢？我可以毫无问题地使用 Hive 运行 mapreduce 作业，如果 Hadoop 在缓存方面有问题或配置错误，这也行不通吗？

我基本上遵循了这个指南http://gauravkohli.com/2014/08/26/apache-oozie-installation-on-hadoop-2-4-1/安装 Oozie，除了我跳过了他为不同的 hadoop 版本重新配置 pom.xml 的部分，因为 2.6.0 没有任何存储库

我刚刚构建了它，因为它是为 hadoop 版本 2.3.0 提供的 "mkdistro.sh -P hadoop-2 -DskipTests"然后替换了 /libext 中的库目录与版本 2.6.0 中的目录

之后我链接了我的 *-site.xml来自 hadoop/conf 的文件进入软泥/conf/hadoop-conf文件夹。

Oozie 服务器已启动并响应，从使用 Oozie 的 Hue 运行一个简单的 Pig 脚本也能正常工作(除了上述异常)。

Answer 1

创建 shell 操作时需要在两个地方指定 shell 脚本。

1. 外壳命令
2. 文件

文件框告诉 Oozie 将 shell 脚本复制到为作业运行创建的目录。