- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我已经实现了一个功能齐全的 Spark 2.1.1 独立集群,其中我 发布 作业批次通过 curl
命令使用 Apache Livy 0.4。在咨询 Spark WEB UI 时,我会看到我的工作及其应用程序 ID(类似于:app-20170803115145-0100
),以及应用程序名称、核心、时间、状态等。但是在咨询 Livy WEB UI 时(默认为 http://localhost:8998) ),我看到以下结构:
| Batch Id | Application Id | State |
| -------- | -------------- | ------- |
| 219 | null | success |
| 220 | null | running |
{
"from": 0,
"total": 17,
"sessions": [
{
"id": 219,
"state": "success",
"appId": null,
"appInfo": {
"driverLogUrl": null,
"sparkUiUrl": null
},
"log": ["* APPLICATION OUTPUT"]
},
{
"id": 220,
"state": "running",
"appId": null,
"appInfo": {
"driverLogUrl": null,
"sparkUiUrl": null
},
"log": ["* APPLICATION OUTPUT"]
},
]
}
livy.server.host = IP_ADDRESS
livy.server.port = 8998
livy.spark.master = spark://MASTER_IP_ADDRESS:PORT
livy.spark.deploy-mode = cluster
livy.ui.enabled = true
export JAVA_HOME=/opt/java8/jdk1.8.0_91
export SPARK_HOME=~/sparkFiles/spark-2.1.1-bin-hadoop2.7
export SPARK_CONF_DIR=${SPARK_HOME}/conf
export LIVY_LOG_DIR=~/LivyRestServer/logs
最佳答案
关于apache-spark - 为什么 Apache Livy session 显示应用程序 ID 为 NULL?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45489852/
我决定使用 Apache Livy 为 Apache Spark 构建一个 Web 服务(应用程序)。 根据 Livy 配置默认值,Livy 服务器已启动并在 localhost 端口 8998 上运
代码: LivyClient client = null; try { String livyUrl = "http://dummy16814.zycus.net:8998"; client
我是 Cloudera 的新手,正在尝试将工作负载从运行 Ambari 和 Livy 和 Spark 2.2.x 的 HDP 服务器转移到具有类似设置的 CDH 5 服务器。由于 Livy 不是 Cl
我已经为Hadoop yarn 设置了 docker ,并且我正在尝试设置livy apache服务器以进行API调用以提交作业。 以下日志表示livy服务器启动了一段时间并自动停止 19/08/17
我正在使用 livy(post/batches) 提交带有关键字参数的 jar。 例如: spark-sumbit \ --class xxx \ --master xxx \
我有一个以 YARN 模式在 Hadoop 上运行的 Spark 集群。我已将 Livy 服务器配置为交互并将客户端 spark 作业提交到 spark 集群。我将一个数据文件连同 jar 从 jav
我正在尝试使用 spark-submit 运行本地 jar 文件,它运行良好。这是命令- spark-submit --class "SimpleApp" --master local myProje
我正在尝试通过 Postman POST 调用通过 livy 批处理提交申请。我确实在日志中看到以下错误。但我可以通过 Curl 执行交互式 livy session 中的命令。 我检查了 livy2
我正在尝试找到一种在 spark 服务器上使用 Livy API(或客户端) 推送 python 脚本的方法。我尝试了以下内容。 curl -X POST --data '{"file": "/use
我正在尝试使用rest api通过livy提交spark作业。但是,如果我多次运行相同的脚本,它会运行具有不同作业 ID 的作业的多个实例。我正在寻找一种方法,在开始新作业之前终止以相同名称运行的 S
我想通过 Databricks API 执行 Databrikcs Notebook 的代码,并获取 Notebook 代码的输出作为响应。 是否有可能有任何解决方法吗? Databricks SQL
我正在尝试根据此文档使用Zeppelin配置livy: https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html 但是,当我运行时: %
我正在 Kubernetes 上运行稳定/ Spark Helm 部署,并通过 Livy 提交作业。 curl -X POST --data '{"className": "LogBundleConf
我正在研究 Livy/Spark,但对如何使用其中的一些内容感到有些困惑。在构建上传到 spark 的作业的 livy 示例文件夹中有一个示例。我喜欢正在使用的接口(interface),但我想通过
我一直在尝试使用在 Ubuntu 18.04 上运行的 Livy 0.7 服务器创建一个新的 spark session 。 在同一台机器上,我有一个正在运行的 Spark 集群,有 2 个 work
我知道 Apache Livy 是用于从任何地方与 spark 交互的其余接口(interface)。那么使用 Apache Livy 代替 spark-jobserver 有什么好处。使用 Livy
我是BigData的新手,我曾尝试用apache Livy调用spark作业。 与提交命令行工作正常。有天赋的我有异常(exception) 命令行: curl -X POST --data '{"f
spark-submit --packages com.databricks:spark-redshift_2.11:2.0.1 --jars /usr/share/aws/redshift/jdbc
我正在使用 curl 命令向 Livy 提交批处理作业(即 Pi 作业),但由于 java.lang.ClassNotFoundException: org.apache.livy.Job 而失败。如
我正在尝试通过 livy 提交 Spark 作业。在工作中,我需要在调用 livy 时在 args 参数中发布 json 数据。这就是我所做的 String payload = "{\"name\":
我是一名优秀的程序员,十分优秀!