个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
27
4
我正在尝试通过 Postman POST 调用通过 livy 批处理提交申请。我确实在日志中看到以下错误。但我可以通过 Curl 执行交互式 livy session 中的命令。
我检查了 livy2-env 中的 HADOOP_CONF_DIR 属性，并设置了与 Spark2-env 相同的值
请建议我是否遗漏任何"Diagnostics: File does not exist: hdfs://<host:port>/user/livy/.sparkStaging/application_TimeStamp/__spark_conf__.zip"
最佳答案
您需要将所有包含文件夹的 hdfs 文件的路径设置为 HADOOP_CONF_DIR .在我的系统中，路径是 /usr/local/hadoop/etc/hadoop .只需检查你的并设置它。我希望它会奏效。
关于hadoop - Livy 客户端 - Spark_Conf.zip 不存在，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48715743/
27
4
0
我决定使用 Apache Livy 为 Apache Spark 构建一个 Web 服务(应用程序)。 根据 Livy 配置默认值，Livy 服务器已启动并在 localhost 端口 8998 上运
代码: LivyClient client = null; try { String livyUrl = "http://dummy16814.zycus.net:8998"; client
我是 Cloudera 的新手，正在尝试将工作负载从运行 Ambari 和 Livy 和 Spark 2.2.x 的 HDP 服务器转移到具有类似设置的 CDH 5 服务器。由于 Livy 不是 Cl
我已经为Hadoop yarn 设置了 docker ，并且我正在尝试设置livy apache服务器以进行API调用以提交作业。 以下日志表示livy服务器启动了一段时间并自动停止 19/08/17
我正在使用 livy(post/batches) 提交带有关键字参数的 jar。 例如: spark-sumbit \ --class xxx \ --master xxx \
我有一个以 YARN 模式在 Hadoop 上运行的 Spark 集群。我已将 Livy 服务器配置为交互并将客户端 spark 作业提交到 spark 集群。我将一个数据文件连同 jar 从 jav
我正在尝试使用 spark-submit 运行本地 jar 文件，它运行良好。这是命令- spark-submit --class "SimpleApp" --master local myProje
我正在尝试通过 Postman POST 调用通过 livy 批处理提交申请。我确实在日志中看到以下错误。但我可以通过 Curl 执行交互式 livy session 中的命令。 我检查了 livy2
我正在尝试找到一种在 spark 服务器上使用 Livy API(或客户端) 推送 python 脚本的方法。我尝试了以下内容。 curl -X POST --data '{"file": "/use
我正在尝试使用rest api通过livy提交spark作业。但是，如果我多次运行相同的脚本，它会运行具有不同作业 ID 的作业的多个实例。我正在寻找一种方法，在开始新作业之前终止以相同名称运行的 S
我想通过 Databricks API 执行 Databrikcs Notebook 的代码，并获取 Notebook 代码的输出作为响应。 是否有可能有任何解决方法吗？ Databricks SQL
我正在尝试根据此文档使用Zeppelin配置livy: https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html 但是，当我运行时: %
我正在 Kubernetes 上运行稳定/ Spark Helm 部署，并通过 Livy 提交作业。 curl -X POST --data '{"className": "LogBundleConf
我正在研究 Livy/Spark，但对如何使用其中的一些内容感到有些困惑。在构建上传到 spark 的作业的 livy 示例文件夹中有一个示例。我喜欢正在使用的接口(interface)，但我想通过
我一直在尝试使用在 Ubuntu 18.04 上运行的 Livy 0.7 服务器创建一个新的 spark session 。 在同一台机器上，我有一个正在运行的 Spark 集群，有 2 个 work
我知道 Apache Livy 是用于从任何地方与 spark 交互的其余接口(interface)。那么使用 Apache Livy 代替 spark-jobserver 有什么好处。使用 Livy
我是BigData的新手，我曾尝试用apache Livy调用spark作业。 与提交命令行工作正常。有天赋的我有异常(exception) 命令行: curl -X POST --data '{"f
spark-submit --packages com.databricks:spark-redshift_2.11:2.0.1 --jars /usr/share/aws/redshift/jdbc
我正在使用 curl 命令向 Livy 提交批处理作业(即 Pi 作业)，但由于 java.lang.ClassNotFoundException: org.apache.livy.Job 而失败。如
我正在尝试通过 livy 提交 Spark 作业。在工作中，我需要在调用 livy 时在 args 参数中发布 json 数据。这就是我所做的 String payload = "{\"name\":
我是一名优秀的程序员,十分优秀！