个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
25
4
我正在使用 oozie 运行工作流程。它有一个运行任意(非 map reduce)代码的 java 操作。此 java 代码用于在本地文件系统上创建文件和文件夹。我想确保 java 操作在 hadoop 集群的单个节点上运行(我的是 7 个节点)。对我而言，此 java 操作最好始终在同一台机器上运行，并且最好仅在 hadoop 主节点上运行。可能吗？即使有解决方法，也请分享。
最佳答案
Java Action 就像 map reduce 作业一样运行，因此您无法控制它将在集群中的哪个节点上运行。
我不确定 oozie 是否会尊重这一点。但是你可以尝试将可接受的映射器失败的数量设置为一个高值(比如 10)，然后如果执行集群节点不是你想要的(使用 InetAddress 获取本地机器名称)，则在你的 Java 操作中抛出异常/知识产权)。
然后希望(但不一定保证)，您的操作将继续在不理想的节点上失败，并最终在您选择的节点上成功。
有点 hack，但它可能会起作用(再次取决于您是否可以在整个作业失败之前修改 map task 失败的次数 - mapred.map.max.attempts，这是默认为 4)
关于hadoop - 确认oozie使用java action运行的java代码是否只运行在单节点上，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/14245206/
25
4
0
我正在尝试将 Oozie 数据库从 derby 迁移到 MySql。一切都运行良好，除非我尝试运行命令 ./oozie-setup.sh prepare-war 出现以下错误 setting CA
当我在 oozie 的 job.properties 中更改协调员作业的开始时间时，该作业不会采用更改后的时间，而是在旧的计划时间运行。 旧的job.properties: startMinute=0
我已经尝试过 oozie job -oozie http://sandbox.hortonworks.com:11000/oozie -config ./job.properties -kill *
当我尝试终止或暂停时，我在用户“runner”下提交了 oozie 协调员作业，我收到以下错误消息: [runner@hadooptools ~]$ oozie job -oozie http
如何自动重新运行工作流中失败的任何操作？ 我知道从命令行或彻底的色调手动重新运行的方法。 $oozie job -rerun ... 我们可以在工作流中设置或提供任何参数以在操作失败时自动重试吗？ 最
我对 oozie 有点陌生。我在我的服务器上安装了(使用 cdh 存储库)oozie(我遵循了 CDH4 文档 [我的 hadoop 在 cdh4 中运行])。 我已使用以下信息更新我的 core-s
在 oozie 中，input-events 非常简单，如果指定的文件/文件夹不存在，协调器作业将保持在 WAITING 状态。但我无法理解 output-events 的作用。 根据我的理解，在 o
我有一个 java 操作已暂停 5 天，处于此状态，我不知道 oozie 要我做什么。有什么想法吗？ 最佳答案 这意味着有一个错误。如果您配置了重试，则可能会多次重试。配置重试后，在第一个错误之后，作
我的要求是在任何工作流操作失败的情况下终止或停止启动工作流的协调器。 wf:id 给出工作流的 ID。 协调有没有这样的功能？？ 如果没有，请提出将坐标传递给工作流的方法。 最佳答案 您可以在协调器中
在我的 oozie coordinator.xml 中，我不想指定结束时间。 有没有办法做到这一点。 coordinator.xml hdfs://l
我在 Oozie 3.3.2 上运行 oozie 工作流时出现以下错误 Error: E0732 : E0732: Fork /Join[join1]不是成对的(join 应该是 [join2]) 现
我是 Oozie 的新手，只是想知道 - 如何使用 Oozie 安排 sqoop 作业。我知道可以将 sqoop 操作添加为 Oozie 工作流程的一部分。但是我怎样才能安排一个 sqoop 操作并让
我正在尝试运行 sh通过 Oozie 编写脚本，但我面临一个问题: Cannot run program "script.sh" (in directory "/mapred/local/taskTr
我可以在 Oozie 移动操作中使用通配符(例如 *)或文件模式(例如 {})吗？ 我正在尝试将我的工作结果移动到存档目录中。 目录结构状态: output - 201304 - 201305 a
请记住，我是 oozie 的完全新手。我知道可以使用 arg 标签在 oozie 工作流 xml 中指定命令行参数。我想知道如何指定一个可选的命令行参数，以便 oozie 不会提示如果用户没有指定缺少
我可以使用 Hue 创建一个不会过期(没有结束日期)的无限 Oozie 协调器吗？ 请帮忙! 最佳答案 没有。您不能创建一个永不过期的协调器。这是 Oozie Coordinator xsd引用:
我是 Oozie 的新手，我正在尝试安装和设置 Oozie。我按照 Apache 站点上提供的说明进行操作:“http://oozie.apache.org/docs/3.3.2/DG_QuickSt
我想知道是否有一种方法可以在不重启 oozie 作业(协调器)的情况下重新加载 oozie 作业的配置文件。 因为协调器实际上运行着我们的许多任务，所以有时我们可能只需要更改作业配置文件的一行，然后进
任何人都可以建议哪个最适合 Hadoop 的调度程序。如果是奥兹。 oozie 与 cron 工作有何不同。 最佳答案 Oozie 是最好的选择。 Oozie Coordinator 允许在文件到达
我正在编写一个 oozie java 操作，它在作业 ./lib 文件夹中的 jar 文件中包含我的自定义代码。 我还想在我的工作外部的文件夹中添加一个 jar 到类路径中(即 /home/me/ot
我是一名优秀的程序员,十分优秀！