个人中心
文章发布
退出
作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库？
- java - OnItemClickListener 不起作用，但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
25
4
目前我们的项目在 MR 上，我们使用 Oozie 来编排我们的 MR 作业。现在我们正在转向 Spark，并且想知道在 CDH 集群上调度/触发 Spark 作业的推荐方法。请注意，CDH Oozie 不支持 Spark2 作业。所以请为此提供一个替代方案。
最佳答案
我上次查看时，Hue 在 Worlflow 编辑器中有一个 Spark 选项。如果 Cloudera 不支持它，我不确定它为什么会在那里......
虽然 CDH Oozie 确实支持纯 shell 脚本，但您需要确保所有 NodeManager 都将在本地服务器上提供可用的 spark-submit 命令。
如果这不起作用，它还支持用于运行 JAR 的 Java 操作，因此您可以编写您的 Spark 脚本，所有这些脚本都以从那里加载任何配置的 main 方法开始
关于java - 如何在 Cloudera 中安排/触发 Spark 作业？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53387011/
25
4
0
是否可以在 impala 中同时执行多个查询？如果是，impala 是如何处理的？ 最佳答案 我当然会自己做一些测试，但我无法执行多个查询:我正在使用 Impala 连接，并从 .sql 文件中读取查
我一直在寻找使用 Hortonworks 2.1 安装可用的 Storm，但为了避免在 Cloudera 安装(其中包含 Spark)之外安装 Hortonworks，我试图找到一种在 Clouder
正常情况下，我可以show partitions 在 hive 中。但是当它是 Parquet 表时，hive 无法理解它。我可以转到 hdfs 并检查目录结构，但这并不理想。有没有更好的方法来做到这
我想知道用于停止和启动 cloudera CDH5.2 集群的命令行。 原因，我正在编写一个自动化脚本来运行一些基准测试，并希望在开始每个基准测试之前停止和启动集群。 我已经看到停止 CDH 集群并不
由于嵌入式 PostgreSQL 数据库的问题，我无法访问 Cloudera Manager UI。 Web UI 向我显示: HTTP ERROR 500 Problem accessing /cm
我最近下载了 Cloudera CDH 5.3，现在我需要访问 HUE Web UI 门户。当我提供属于 Cloudera admin/admin 的默认用户名和密码时，它不起作用。我现在无法登录 H
我有两台装有 CentOS 6.5 的 PC client86-101.aihs.net 80.94.86.101 client86-103.aihs.net 80.94.86.103 clouder
当我显示表格时，我在 Impala 中看到一个表格“测试”； 我想复制“test”表，使其完全相同，但命名为“test_copy”。我可以执行 impala 查询来执行此操作吗？如果没有，我该怎么做？
如何在不使用 Cloudera 管理器的情况下在 100 节点集群上安装 Cloudera CDH？在集群中的每个节点上手动安装和配置 CDH 是一项艰巨的任务。使用哪些工具和技术来自动化生产中的任务
我启动了cloudera-scm-agent，但它失败了。我看到来自 /opt/cm-5.7.0/log/cloudera-scm-agent 的日志。它说 /opt/cm-5.7.0/lib64/c
我正在使用 ubuntu 12.04 64 位，我成功地安装并运行了单节点示例 hadoop 程序。 我在我的 ubuntu 上安装 cloudera 管理器时出现以下错误 Refreshing re
我已经关注了这里的博客(如下所述)并下载了包裹并按照要求放置。请告诉我是否有人已安装以及步骤。 (https://www.cloudera.com/documentation/spark2/lates
我正在尝试使用 Cloudera Manager 3.7.x 在具有 RHEL 5.5 的集群上安装 CDH3U5。但是由于以下错误，安装失败 - Error Downloading Packages
我正在尝试在 Ubuntu 12.04 LTS(64 位)中使用 Cloudera Manager 安装 CDH5。我正在按照 Cloudera link 中提到的步骤进行操作.我无法为安装 CDH5
我正在使用 Cloudera Quickstart VM 5.3.0(在 Windows 7 上的 Virtual Box 4.3 中运行)并且我想学习 Spark(在 YARN 上)。 我启动了 C
Cloudera 声称拥有快速启动方法。我注意到这对我不起作用。 当我调用 Spark-shell 时，我得到: ... WARN metastore.ObjectStore: Version inf
我有cloudera 5.7，我也有Cloudera Manager。 在目录/etc/hadoop下，我看到了三个子目录。 /etc/hadoop/conf /etc/hadoop/conf.clo
我是 Docker 和 Hadoop 系统的新手。我已经在 Ubuntu 16.04 中安装了 Docker，并在一个新的 Docker 容器中运行来自 Cloudera 的 Hadoop 镜像。但是
我必须区分 Cloudera 包裹过程和编写 cooking 书或厨师的食谱以在集群中安装包。 因此，我正在寻找 Parcel 与 Chef 之间的优势和劣势，反之亦然。 最佳答案 如果您使用的是 C
我对 impala 中的数据局部性有疑问，假设我有 10 个数据节点的集群(每个数据节点上都有 impalad)，如果我在 impala 中执行查询 SELECT * FROM big_table w
我是一名优秀的程序员,十分优秀！